Home Assistant Kameras mit LLMVision Ki nachrüsten

Mit LLMVision machst du wirklich alle Kameras in Home Assistant super schlau! Personenerkennung, eine zentrale Timeline aller Ereignisse, integration in Assist & noch viel mehr schauen wir uns heute zusammen an :tada:

:link: == Zum Blog-Beitrag mit noch mehr Infos =⇒ Kameras & Home Assistant - Alles, was du wissen musst

Vielen Dank für’s zuschauen & an alle Mitglieder der Community :heart:

7 „Gefällt mir“

Hallo,

beim Hinzufügen des Memorys, bekomme ich immer den Fehler “Ein oder mehrere Bildpfade sind ungültig”. Ich habe folgende Pfade probiert:

  • /config/llmvision/memory/Benni.jpeg
  • /media/llmvision/memory/Benni.jpeg

Selbstverständlich habe ich die entsprechenden Bilddateien vorher in diese Ordner kopiert
Beides ohne Erfolg. Irgendjemand eine Idee woran es liegen könnte? Habe HA bereits neu gestartet und auch den Cache komplett geleert.

Gruß
Benni

Edit: Ich habe es herausgefunden. Es lag an der Dateiendung *.jpeg. Es muss *.jpg sein

Hallo,

bzgl. der Anwendung verschiedener Modelle empfehle ich übrigens openrouter.ai Hier kann man sich wie bei openai registrieren und ein budget einzahlen, die Anwendung hat eine openai fähige API und es bietet extrem viele Modelle zu gleichen Kosten. Es wird dann kein Plattformaccount mehr bei openai, mistral, anthropic etc. benötigt die liegen alle vor. Ich nutze das für Cloudmodelle nur noch und bin gut zufrieden.
Gruß
Elmar

Tolles Video, weckt meinen Spieltrieb. Aber wenn ich an den Stromverbrauch der KI-Rechenzentren denke, zögere ich doch, das einuzurichten. Um zu unterscheiden, ob ein Paketbote oder meine Frau vor der Tür steht, reicht einstweilien noch meine eigene Intelligenz :wink:.

Ich bekomme die Meldungen aus dem Blueprint mit Englischer Überschrift auf mein Handy.

Gibt es links, wo beschrieben wird, wie die Voraussetzungen installiert werden?

Hallo,

ich habe mir das Video angeschaut und da ich nur Reolink POE Kameras habe, bin ich echt beeindruckt und würde das auch gerne machen.

Leider fehlen mir die Einstellungen für die LLMS und wie ich Gemini oder Groq oder so anbinden kann.

Ich habe schon im internet gesucht aber bin zu blöde das zu finden, ich meine Simon hat da mal ein geiles Video zu gemacht, vielleicht kann mir das einer mal hier verlinken, wäre toll!

Ich möchte mal den folgenden Gedanken dazu anregen:
Ich habe mir den folgenden KI-Workflow zum Laden meines E-Autos gebaut: KI - Automation mit N8N und Homeassistant vollständig lokal umgesetzt
Der ist KI gestützt, und die KI läuft lokal auf meinem MacMini zu Hause, der hat eine Leistung von max. 85 W nutzt die aber nur wenn er richtig “gequält” wird, an den Verbauch komme ich nur sehr selten bis gar nicht ran. Durch die erreichte Optimierung erhöhe ich die Nutzung meiner PV-Anlage und damit die von nicht klimaschädlichen Strom deutlich. Da sind durchaus einige KWh pro Ladevorgang drin. Würde ich das nicht machen würde mehr zu Zeiten geladen an denen Kraftwerke laufen. Daraus ergibt sich die Frage: Trägt die KI damit zum Klimawandel oder zum Klimaschutz bei?
Dieses Ergebnis erreiche ich bei mir allein, also ohne Skalierung mit anderen. Ich habe früher immer versucht die Autarkie meiner PV Anlage zu erhöhen und bin da klar an meine Grenzen gekommen. Meine Erkenntnis war, die Erreichbarkeit von regenerativer Autarkie bekomme ich allein nicht hin, dazu müssten sich mehrere Verbraucher mit unterschiedlichen Profilen zusammen schliessen, je mehr desto größer sie Skalierung. Ergo: Mit meiner PV Anlage bin ich allein nicht weiter gekommen, mit meiner KI schon.
Wenn ich dann wiederum im Umkehrschluss den Nutzen von KI skaliere, also nicht meinen lokalen Mac mit seinem Stromverbrauch nehme sondern ein Rechnnzentrum welches für viele Menschen arbeitet und damit skaliert, gehe ich davon aus, dass der Hebel noch viel größer sein kann.
Einschränkend muss ich sagen. Diese Logik funktioniert natürlich nur wenn die KI sinnvoll und zielführend eingesetzt wird. Natürlich ist es so, dass sie auch für sehr viel “Unsinn” eingesetzt werden kann und die dafür genutzte Rechenleistung ist natürlich negativ in der Bilanz. Aber das liegt an den Menschen und nicht an der KI !
Fazit: KI sinnvoll und clever eingesetzt kann helfen Klimawandel zu verhindern und Klimaschutz zu erhöhen. Voraussetzung dafür ist sinnvoller Einsatz, lernen, es können und es entwickeln. Der konkrete Einsatzfall hier würde aus meiner Sicht in die Kategorie “lernen” fallen.
Gruß
Elmar

Hi,
ich empfehle dir einen openrouter.ai account da hast du extrem viele Modelle verschiedener Hersteller drin die du nutzen kannst. Du holst die dort einen API key, fügst den bei der Einrichtung von LLM Vision an entsprechender Stelle ein wählst das Modell und kannst loslegen

Gruß
Elmar

Halo,

wie hast du denn openrouter.ai eingebunden?

https://openrouter.ai/api/v1

Versuch mal in LLM Vision unter Custom Openai in der Konfiguration den Link oben und dann den API KEy aus openrouter.ai einzugeben dann sollte es funktionieren

Hallo Simon, danke für dieses Video!

Grundsätzlich funktioniert die Integration, allerdings kommt es in 80-90% der Fälle vor, dass die Ereignisse, die auch tatsächlich stattgefunden haben (und auch dementsprechend zur richtigen Zeit durch Bewegungsmelder (Hier: Lupus Kamera Linie Überschritten) ausgelöst wurden, irgendwie zu spät an die KI geschickt werden, und am Ende ein “No activity observed” - “Keine Aktivität beobachtet” Resultat zurückgeschickt wird. Dies mit dem passenden, leeren Bild dazu (leer im Sinne von: Aktivität ist bereits beendet zum Zeitpunkt der Aufnahme).

Woran könnte das liegen? Hat jemand das gleiche Problem? Weiss jemand Abhilfe?

1 „Gefällt mir“

Moin zusammen, erst mal vielen Dank Simon für dieses (und all die anderen tollen Videos). Das hat mir bisher wirklich sehr geholfen. Ich habe das selbe Problem wie @DirkV8. Auch bei mir werden Bilder übergeben, wo die Person schon wieder „weg“ ist. Ich habe allerdings Eufy Cameras … die ich am liebsten in die Tonne kloppen würde. Habe aber insgesamt 6 Stück davon + Homebase und ich scheue die in Summe 1.000 Eur, die das Austauschen kosten würde … DAnke für jeden Hinweis. Liebe Grüße

2 „Gefällt mir“

Habe seit kurzem die 2025.7.0 installiert, damit scheint es deutlich besser zu sein. Auf 8 (von 8) Events war die person zu erkennen … :slight_smile:

1 „Gefällt mir“

Bei mir leider auch nach Update auf das Juli Update nach wie vor wie beschrieben :frowning:

Schade das es keine Antworten auf Rückfrage hier vom Ersteller gibt.

Muss mich korrigieren… nimmt jetzt wieder immer ein altes Foto …

1 „Gefällt mir“

Ich habe das mal probiert. Also mit dem von Openrouter bereitgestellten API-Schlüssel.
Aber bei der Verwendung des Assist bekomme ich nur “Error talkerr to OpenAI”.

Wo bekomme ich bei Openrouter einen open ai Schlüssel her? :thinking:

Achso. Ich meine die OpenAI Conversation Integration.

Hi, hast du bei der Einrichtung in diesem Feld ganz unten Custom OpenAI gewählt und dann den Openrouter API Link eingegeben? Falls der Endpoint nicht klappt versuch mal diesen: https://openrouter.ai/api/v1/chat/completions Dann sollte es klappen

Gruß
Elmar