Eigenes "micro wake word" auf den ESP32-Assist - aber wie?

Allgemein
1

Hallo,

Ich habe nun nach einigen Rückschlägen (endlich) meinen ersten eigenen ESP32S3 Assist in Betrieb. Er funktioniert soweit recht gut. Nach der Vorstellung bei meiner “Regierung” wurden die bestehenden Micro Wake Words bemängelt. Ok- dachte ich mir und ich habe entsprechend:

angefangen, mein eigenes Wake Word mit der Google Plattform zu erstellen.

Es ist jetzt als .tflite Datei verfügbar und ich will es als Micro Wake Word auf meinem ESP32 installieren (wie die bereits verfügbaren micro wake words: “Ok Nabu”, “Hey Jarvis” …). Für diese Wake Words werden die vollständigen Webadressen im Source Code zur Implementierung angegeben (GitHub - kahrendt/microWakeWord: A TensorFlow based wake word detection training framework using synthetic sample generation suitable for certain microcontrollers.…) - das funktioniert einwandfrei!).

Wie kann ich das für mein eigenes lokales Wake Word machen, sodass es lokal auf einem ESP zugänglich ist? Ich will es über Homeassistant → ESPHome Builder in den Source Code integrieren. Daher meine Frage: Wie setze ich diese Links lokal?

  • Was muss ich im Source Code angeben und wo muss die Datei in Homeassistant lokal liegen, damit ich das eigene Micro Wake Word auf den ESP32 hochladen kann und anstelle “Ok Nabu” ect nutzen kann?

Habt Ihr das schon mal erfolgreich implementiert? Ich hab mein eigenes Wake Word erstellt, aber ich krieg es nicht in das Micro Wake Word integriert… echt frustrierend…

Gruß

Thomas

2

Ich versuche das ebenfalls schon seit einiger Zeit.
Lokal konnte ich das File nicht einbinden.

Ich habe einfach ein öffentliches GitHub Repo gemacht, hab da nichts Geheimes drin. :wink:

Dann habe ich die Voice Assistant Config fürs ESP32 kopiert:

und in meinem Repo angepasst:

Im Esp Home Builder habe ich dann mein Repo angebunden:

packages:
  Nabu Casa.Home Assistant Voice PE: github://Im-a-Train/wakewords/my-wakeword.yaml

Dann erscheint das Modell im Home Assistant:

grafik
grafik367×346 10.5 KB

Leider funktioniert das ganze nicht, wenn ich mein Modell auswähle stürzt das Voice Assistant PE ab und wählt wieder das default wake word “OK Nabu”.
Liegt vielleicht am Modell, habe verschiedene Modelle versucht, aber hat nie geklappt.

Vielleicht geht es mit deinem. Good luck

3

Hi.

Ich beschäftige mich auch gerade mit dem Thema. Da scheint echt Bewegung drin zu sein. Benutzt Du GitHub - rhasspy/wyoming-satellite: Remote voice satellite using Wyoming protocol mit GitHub - rhasspy/wyoming-openwakeword: Wyoming protocol server for openWakeWord wake word detection system ? Das ist inzwischen deprecated und wandert alles nach:

Den habe ich bei mir auf einem Raspi installiert, eine Freisprecheinrichtung angeschlossen und das funktioniert echt gut. Da werden für WakeWords MicroWakeWords genutzt, da habe ich noch kein Google Colab gefunden. Aber es gibt einen Docker Container, der mir die entsprechenden .tflite und .json Dateien erzeugt hat. Dank nVidia Grafikkarte hat das auch nur einen halben Tag gedauert. :slight_smile:
Die müssen nur in das Verzeichnis wakeword vom Satellit, neu starten und sie werden in HA angezeigt und können ausgewählt werden … aber leider reagiert mein Satellit noch nicht. Vielleicht braucht es auch ein besserer Training. Ich habe auch auch mal die fertigen Wakewords alexa und hey_jarvis ausprobiert. Da ist Alexa auch sehr schlecht. hey_jarvis reagiert bei mir besser als ok_nabu.

Vielleicht hilft das.

Sonnigen Grüße!