Skip to content

TheXires/multimodal-interaction

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

75 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Anleitung

Im Folgenden wollen wir die Technische Seite des Projektes etwas genauer aufschlüssel, sodass das Projekt auch von anderen Personen weitergeführt werden kann. Vorab ist es wichtig zu erwähnen, dass der Voicecontroller unter Windows nicht lauffähig ist.

Sprachbefehle

Die Worte in den Klammer sind optional.

Richtung wechseln:

  • fahre (bitte) XXX
  • biege (bitte) XXX ab
  • (an der nächsten Kreuzung) XXX abbiegen
  • an der (nächsten) kreuzung XXX

Spur wechseln:

  • (bitte) wechsel die spur (bitte) nach XXX
  • (bitte) spur wechsel nach XXX

Geschwindigkeit ändern:

  • fahre (bitte) XXX kmh $acceleration:acceleration
  • fahre (bitte) XXX
  • fahre (bitte) XXX (kmh)
  • setzt (bitte) die geschwindigkeit (bitte) auf XXX (kmh)

Bauen und Ausführen

Um das Projekt unter Linux (und vielleicht auch MacOs) zu bauen und auszuführen, können einfach die beiden beigefügen Scripte im root Verzeichnis ausgeführt werden. Durch build.sh werden alle benötigten npm packages heruntergeladen und der Touchcontoller gebaut. Das run.sh script startet dann alle Services.

Picovoice

Die Dateien von Picovoice sind immer nur für 30 Tage gültig bevor sie erneuert werden müssen. Dies kann einfach über die Picovoice console auf der Webseite erfolgen. Wenn dafür eine neuer Account angelegt wird, kann die im picovoice Ordner des Voicecontrollers beiliegende .yaml Datei unter dem Reiter Rhino importiert werden. Unter dem Reiter Porcupine kann dann das Wakeword erstellt werden. Dabei muss darauf geachtet werden, dass die Exporte für die richtige Zielplattform angelegt werden. Das Trainieren und herunterladen einer Rhino Datei ist innerhalb von wenigen Sekunden erledigt. Eine Porcupine Datei benötigt mit ca. 3 Stunden allerdings deutlich länger. Anschließend müssen die beiden Dateien im Ordern picovoice im Voicecontroller unter den Namen hey_auto.ppn und carController_de_linux.rhn abgelegt werden. Sollte einmal keine Zeit für eine neue Rhino Datei zur Verfügung stehen kann alternativ die Datei leguan_linux.ppn im picovoice Order umbenant werden. Diese enthält das Wakeword leguan und kann ohne Erneuerung immer verwendet werden.

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published