Hi,
ich bin in letzter Zeit tief in die Welt der KI eingestiegen und habe meine Vision eines intelligenten HA-Assistenten verfolgt, der a la Jarvis
- Zugriff auf Home Assistant Entitäten hat und diese auslesen/steuern kann
- Zugriff auf das Internet hat um allgemeine Fragen zu beantworten, die Wettervorhersage mitzuteilen oder Fragen nach ‘Events in der Gegend’ usw. zu beantworten
- in der Lage ist eine natürliche Konversation zu führen
- ein Gedächtnis hat
- weitere MCP-Server einbinden kann.
Für die Spracheingabe über meine Google-Lautsprecher habe ich zuerst eine Integration erstellt, die es ermöglicht ein IoT-Mikrofon einzubinden und die Sprachausgabe über die Lautsprecher zu ermöglichen.
Diese Integration funktioniert aber auch mit jeglicher Mediaplayer-Entität in Home Assistant.
Eine weitere Integration AI-Plugin übernimmt die Verbindung zwischen deiner lokalen LLM (Ollama, llama.cpp, LM Studio etc.) und Home Assistant. Um die Steuerung von Home Assistant zu ermöglichen wird die HA-eigene Integration ‘Model Context Protocol Server’ benötigt.
Für die Internetverbindung richtest du am Besten ein Konto bei Tavily oder Brave Search ein.
Für die Assist-Pipeline wählst du dann deinen eingerichteten Konversationsagenten aus und los geht’s!
Wenn du möchtest, dass sich dein Assist etwas merkt (dein Name, die anderen Mitglieder deines Haushalts, dein bevorzugtes Einheitssystem etc.) sagst du einfach “merke dir…” “erinnere dich…” usw. Natürliche Konversation eben!
Mein Setup, mit dem ich arbeite, ist:
- PC mit RTX3090
- CachyOS
- Ollama
- Port 11434 lokal exposed
- separater Server mit Home Assistant
Probiert es und sagt Bescheid, wenn ihr Probleme feststellt. So können wir an der Verbesserung der Integration arbeiten.
Viel Spaß damit, ich freue mich auf Feedback 
