Hi,
Simon hatte vor kurzem ein Video über Openclaw gebracht und kurz darauf eins zur KI Nutzung in Homeassistant. Ich nutze bereits seit längerem KI zunehmend intensiver und habe auch Openclaw eingerichtet. Hier mein Erfahrungsbericht:
1. KI Nutzung in Homeassistant (Sprache).
Es fing an mit der Sprachsteuerung in der Anfangsphase war das noch recht unzuverlässig und konnte Sprachassistenten wie Alexa, Siri und Google Assistant nicht wirklich das Wasser reichen. Dennoch kamen im Laufe der Zeit zunehmend Verbesserungen, sowohl bei den KI-Modellen als auch bei den Sprachassistenten. Voice PE und die Futureproofhome Satelliten haben mich dann zu dem Schritt gebracht Alexa und Co. vollständig zu verbannen. Ich habe Voice PEs in Räumen verteilt und Futureproofhomes. Die Futureproofhomes wegen der besseren Musikwiedergabe. Mittlerweile nutze ich die mit lokaler KI (MacMiniM4). Ich bin sehr zufrieden, sie verstehen meine Kommandos und führen sie zuverlässig aus. Ich vermisse die Big Tec Sprachassistenten nicht.
Vorteil des Setup: Vollkommen lokal in guter Qualität; Ich behalte meine höchst persönlichen Daten, denn das was bei mir im Haus besprochen wird bleibt bei mir im Haus. Allein das hat einen hohen Wert.
Auf der lokalen KI laufen auch Vision Modelle für die Bildauswertung der Kameras - auch absolut brauchbar.
2. Homeassistant mit n8n
Aber was fehlte war die tiefere Integration, KI in der Sprache ist üblicherweise ein Trigger, aber ein Smarthome soll ja idealerweise lernen um wirklich smart zu werden und dafür müssen die Automationen insgesamt einbezogen werden. Also auch wenn der Trigger kein Sprachkommando ist.
Dafür habe ich n8n auch lokal aufgesetzt. Das hat einige interessante Anwendungsfälle wie z,B. die das Batterielademanagement, oder die Gartenbewässerung gebracht. Oder die Systemüberwachung der Proxmox Container und HA-AddOns. Neben Homeassistant konnte ich mit n8n aber auch deutliche Erleichterungen z.B bei der Buchführung erreichen.
3. Claude Code in Homeassistant
Seit kurzem nutze ich auch Claude Code in Homeassistant und zwar als AddOn https://github.com/ESJavadex/claude-code-ha . Das erleichtert die Fehlersuche deutlich und es besteht die Möglichkeit auch mal etwas zu programmieren und Verknüpfungen zu analysieren. Natürlich muss ich darauf achten, dass ich selbst die Automationen noch versteht, aber das liegt in der eigenen Verantwortung. Das Addon bzw. die App wird zur Nutzung gestartet und nach der Nutzung gestoppt. Dadurch erfolgt nur eine kontrollierte Nutzung. Aber Claude Code ist ein Gamechanger, auch ausserhalb von Homeassistant!
4. OpenClaw Setup mit Homeassistant
Nach Simons Video konnte ich es nicht lassen. Allerdings kam für mich nur eine sichere Installation und schrittweise kontrollierte Erweiterung in Frage. Openclaw wurde daher in einem eigenen klar abgegrenzten VLAN installiert, also nicht direkt auf dem Rechner sondern in einer eigenen VM. Dann habe ich kontrolliert Verbindungen erstellt. Dafür habe ich “Zwillinge” von den Anwendungen erstellt die ich selbst auch für mich betreibe. So habe ich in dem VLAN von Openclaw für Openclaw ein eigenens n8n, Excalidraw (Zeichenprogramm), neo4j (grafische Datenbank), SearXNG (Suchmaschine), redis (Datenbank), qdrant (Vektorendatenbank) , Vaultwarden (PW Manager; da sind seine Credentials drin nicht meine), Grafana (Dashboard), gitea (Repo) und inzwischen Obsidian (Notizen .md) eingebaut. Ein Kanbanboard über das ich Aufgaben mit ihm und Claude Code koordinieren kann, habe ich für ihn mit Claude Code gebaut (hätte ich ohne nie hinbekommen). n8n dient dabei im Wesentlichen als Gateway, er kann darüber Mails empfangen und versenden (mit eigener Adresse) aber durch n8n kann ich sicherstellen, dass das nur mit genehmigten Sendern und Empfängern erfolgt und mit einer Codenode (nicht KI) prüfe ich jede Mail die reinkommt nach Promptinjection und Malware. Auch die Verbindung zu Homeassistant läuft über n8n. Dadurch kann ich sicher stellen, dass bestimmte Entitäten nicht bedient werden können. Meine primäre Kommunikationsverbindung zu ihm ist mein selbst gehosteter Matrix Messenger, den kann ich übrigens empfehlen. Für die Sprachsteuerung nutze ich die Webhook von EulemitKeule die ich etwas auf Openclaw angepasst habe. Dadurch ergeben sich noch weitaus größere Möglichkeiten bzgl. der Sprachsteuerung in meinem Haus, es wird nicht lange dauern und ich werde mich intensiv mit ihm unterhalten können. Allerdings gibt es auch eine Einschränkung: KI-technisch bin ich operativ nicht mehr ganz lokal sondern musste mit größeren Anwendungen in Openclaw auf die Ollama Cloud zurückgreifen. Das ist noch nicht die ideale Lösung aber bis ich eine andere habe ist das erst mal ok und auch kostengünstig. Openclaw soll Token fressen und kann daher ins Geld gehen. Ich gebe Openclaw inszwischen nach und nach weitere Zugriffe do darf er meine Bewegungsdaten aus dawarich lesen und analysieren, hat eine inflixdb bekommen und sieht auch meine Bilder in immich.
Was ich abschliessend sagen kann. Die Möglichkeiten die sich ergeben sind enorm, vieles was ich heute bewerkstelligen kann (auch ausserhalb von Homeassistant) hätte ich vor einem Jahr nicht geträumt. Ich habe dadurch nicht verlernt wie ich Automationen baue, sondern im Gegenteil, ich konnte mir Wissen aneignen welches vorher weit entfernt war und genau das war mein Ziel - ich wollte es verstehen.
Gruß Elmar
Das Bild zeigt eine Kachel aus dem Kanban Board. In die Beschreibung hatte ich die Aufgabe geschrieben (der Prompt) die Checkliste hat er selbst angelegt und dann abgearbeitet und die Notizen eingefügt, Status und Zständigkeit ändern er auch selbstständig.
