Home Assistant Voice - aktueller Stand und Grundlagen

[mbach90]

Hi,

ich habe inzwischen ein relativ komplexes System über den Home Assistant Green aufgebaut. Steuerung erfolg meistens übers Handy, mal übers Tablet an der Wand, vieles Automatisiert und natürlich am liebsten über Sprachsteuerung.

War nie ein Alexafreund, hatte bisher immer google home und bin mit der Spracherkennung und vorallem der Ausführung von meinen ganzen Home Assistant Elementen super unzufrieden. Deshalb möchte ich daran jetzt arbeiten, ich denke ich könnte mit Aliasen und so noch einiges optimieren, würde aber eigentlich gern komplett auf den Voice umsteigen.

Ich höre keine Musik darüber und mir ist auch zunächst die Verarbeitung des Produkts weniger wichtig. Ich habe das Nabu Casa Abo und kein Problem mit Cloud und so.

Nun fehlt mir glaube ich irgendwie eine Grundlage, habe weder im Forum noch bei Youtube was gefunden. Die Installation des aktuellen HA Voice ist ja Plug und Play, aber ich bräuchte irgendwas zum reindenken, wie ich dann meine ganzen Automationen, Szenen und auch einzelne Elemente ansteure:

Beispiele wäre:

Starte Bewässerung im Garten. Welche Lampen sind gerade eingeschaltet? Wie weit ist Name noch von Zuhause entfernt? Wieviel hat es heute geregnet? Starte E Autoladen um 18 uhr…

Natürlich habe ich das alles soweit angelegt und könnte es manuell ausführen.

Auch die Grundlage bezüglich Large language models (LLMs) fehlt mir komplett, da wäre ich auch über (deutschsprachige) Erklärvideos oder Blogs dankbar. Fernziel wäre auch, dass ich HA Voice Chat gpt Kram fragen kann.

Vielen Dank euch, ich freue mich über Antworten, Links und Kurzerklärungen

[mbach90]

Ich frage nochmal freundlich nach Hilfe

[Osorkon]

Was möchtest Du zusätzlich an Infos, was in der Doku nicht enthalten ist?

Talking with Home Assistant - get your system up & running

Gruß Osorkon

[mbach90]

Naja, wie eben geschrieben ein paar Erklärvideos, Basics zu llm und einfach so typische tutorials. Ich meine alles was Simon so für uns aufbereitet steht ja auch sicher irgendwo in ner Dokumentation.

Ich frage mich auch, lohnt es noch die Preview zu kaufen oder ob es schon Gerüchte zu ner Weiterentwicklung gibt.

LG und danke

Manuel

[mbach90]

Hallo,

okay, ich habe mir den HA Voice Preview Edition geholt und die Integration lief problemlos. Einzelne Lampen zu steuern funktioniert problemlos. Leider aber nicht wirklich viel mehr. Ich bin wirklich bereit mich einzuarbeiten, mir fehlen nur gescheite Anweisungen. Die oben verlinkte Dokumentation hilft mMn nur bedingt. Natürlich habe ich meine Lampen richtig benannt, aber ganz simple Fragen:

1. Wie kann ich eine Lichtszene (bei Hue angelegt, aber auch komplett über HA ansteuerbar) per Sprache ansteuern? Irgendwie benötige ich einfach so standardsätze um Lampen, Thermostate, Rolläden usw. zu steuern. Benannt habe ich es eigentlich alles richtig (Geschosse, Räume, Lampen usw.)

2. In meiner Vorstellung sollten auch Abfragen wie: Wann ist das letzte mal jemand durch die Haustüre gegangen? Wieviel Strom wurde heute verbraucht? Wann hat es des letzte mal geregnet usw. möglich sein? Wie kann man das dem Voice beibringen?

3. Ich würde gern Voice mit GPT verbinden? Geht das? Also dass ich auch so allgemeine Fragen an meinen Voice stellen kann, wie “Wie lang war Angela Merkel Bundeskanzlerin?”, “Wie soll das Wetter nächsten Dienstag werden?” usw.

Ich danke für die Hilfe

LG Manuel

[Osorkon]

@mbach90

Wie kann ich eine Lichtszene (bei Hue angelegt, aber auch komplett über HA ansteuerbar) per Sprache ansteuern?

Nehmen wir an, Du hast die Szene “Keller dunkel” benannt.

Zu 2, dafür kannst du custom sentence verwenden.

Adding a custom sentence to trigger an automation

BSP:

alias: Voice Assi - Regenmenge heute
description: ""
triggers:
  - trigger: conversation
    command:
      - Die heutige Regenmenge
      - Regenmenge heute
      - Regebmengen heute
      - Regen heute
conditions: []
actions:
  - set_conversation_response: >-
      Heute sind circa {{ (states('sensor.ws_daily_rain_rate') | float(0) /100
      *10*10) | replace(".",",") }} Liter Regen gefallen.
mode: single

Zu 3: JA

OT:

Gruß Osorkon

[JoEm]

Ich hab da vlt. n anderen Ansatz: Ich musste was für die Arbeit mit KI bauen, das fand ich ziemlich spannend und habe deshalb testweise mal OpenAI in ein reine Webseite integriert. Funktioniert Hands-Free und die Daten bleiben unter eigener Kontrolle. Für Dich vlt. spannend dürfte “Fabi” sein: der kann Mailen und steuern. Ist zwar erst nur ein PoC ohne echtes Backend, aber Sprach-Interaktion läuft sehr. Details im Info-HTML (siehe “Superskills”). Grüsse, Jo

Live-Page: MiniChat - KI-Voicechat - Launcher

[kaskadeur111]

Hi!

Also wenn das der Ansatz ist (Szenen sprechend benennen und mit Custom Sentences der Kiste Deutsch beibringen), kann man sich den HomeAssistant Voice sparen. Das alles ist genau so mit Alexa/Routinen und komplett Offline ohne Nabu Casa Cloud möglich. ICh habe mir vom HomeAssistantVoice versprochen, dass er mittels KI meine Anfrage deutet und die Kompletten Home-Assistant Entitäten kennt, und mir dann eine geeignete Antwort gibt. Wenn ich zu Fuß erstmal alle möglichen Fragen definieren und der Kiste beibringen muss was dann zu tun ist, gibt es keinen Mehrwert. Eine Frage “Wie warm ist es im Wohnzimmer”, “Sind alle Fenster geschlossen”, “seit wann ist XXX zu Hause” sollten doch für jede KI, die an ein Smart Home angekoppelt ist, problemlos ohne zutun beantwortbar sein. DAS kann Alexa nämlich (noch) nicht (vielleicht mit Alexa+ bald).

Und ich glaube das bei Simon so auch gesehen zu haben.

Was für mich so ein Killer-Feature wäre, “Schalte Licht und Fernseher an, erinnere mich an die Hausaufgaben wenn meine Tochter zu Hause ist” also einfach mal mehr als nur ein Gerät gleichzeitig + Zusatzinfos… Mehrere Geräte gleichzeitig macht Alexa+ und auch eine Erinnerung, aber “wenn meine Tochter zu Hause ist” wird nicht so ohne zutun möglich sein.