Nachbau der LLM Vision Integration vom video

[d.rink]

Hallo zusammen, wie bei vielen von euch vermutlich auch hat mich das video zur LLM Vision Integration von Simon sehr beeindruckt. Daher wollte ich das gerne in meinem Setup (ebenfalls mit Reolink Kameras) nachbauen, allerdings bekomme ich es leider einfach nicht rund. Daher würde ich gerne wissen, ob es bei euch grundsätzlich funktioniert bzw. welche Tipps ihr mir geben könnt, um es richtig ans fliegen zu bringen.
Aktuell habe ich mit der Version 1.5.1 das Problem lösen können, dass die snapshots nicht mehr in der timeline angezeigt wurden, da musste ja auch die LLM timeline integration sowie die blueprint entsprechend geupdated werden.
Meine Kamera ist also in der Lage anhand der blueprint bei entsprechenden motion detection (z.B. Personen) auszulösen und erstellt dann auch snapshots. Woran es bei mir aber ganz stark hakt, ist die Einbindung der LLMs. Ich habe mir wie beschrieben einen API key für gemini erstellt, es hat auch ein, zwei mal funktioniert und gemini hat mir eine einigermaßen brauchbare Beschreibung geliefert. Allerdings läuft gemini aktuell konstant nicht. Ich bekomme immer folgenden Fehler im log zu sehen:
Error: Resource has been exhausted (e.g. check quota).

Ich benutze als model wie im video auch verwendet gemini-2.0-flash

Ich habe maximal 5 Auslösungen bisher am Tag und verwende den API key für nichts anderes, da unterstelle ich mal einfach dass hier noch nicht mein limit erreicht ist, zumal Simon ja im video davon sprach dass er bei der Einrichtung sehr viele Analysen durchführen lies ohne dass das limit erreicht wurde.
Hat hier jemand einen Tipp wie ich das zum Laufen bekomme?

Da gemni offensichtlich nicht will, dachte ich mir dann dass ich Groq verwenden könnte. Doch sowohl mit dem von simon im blog erwähnten model meta-llama/llama-4-scout-17b-16e-instruct als auch mit meta-llama/llama-4-maverick-17b-128e-instruct bekomme ich immer folgenden Fehler:
Error executing script. Error for call_service at pos 4: Groq does not support videos or streams

Daher mal meine Frage an euch: Wie habt ihr die Integration simonlike ans Laufen gebracht? Habt ihr evtl. alternative (möglichst kostenfreie) Modelle, die ihr empfehlen könnt?

[simon42]

Kann ich bestätigen, Groq scheint mit LLMVision Streams nicht mehr zu laufen:

Wurde scheinbar auch vor 2 Wochen vom Entwickler so bestätigt: Automation fails when Groq is set as a fallback provider · Issue #458 · valentinfrlch/ha-llmvision · GitHub .

Hast du mal Gemini probiert? Glaube im Google AI Studio muss man ja auch keine Zahlungsdaten hinterlegen, nur so ein Projekt anlegen wenn ich mich da richtig erinnere.

Ansonsten eventuell OpenRouter, geht seit kurzem:

Bin mir nicht ganz sicher, glaube aber das könnte klappen (brauchst natürlich einen Account):

[der_Micro]

Jaaa, da muss man sich schon fragen ob man unbedingt eine Beschreibung eines Bildes benötigt, wenn man doch Augen hat und anhand des Bildes viel schneller und zuverlässiger erkennt was oder wer da grad die Kamera ausgelöst hat. Ich bekomme ein 60Sekunden Clip per Push aufs iPhone, das funktioniert wenigstens.

Gestern hat die Kamera am Eingang einen Mann mit weisser Hose und schwarzem Pulli aufgeschnappt…tolle Info, dank des Clips konnte ich aber vorspulen und noch erkennen das er mit einem Firmenwagen einer Malerbude wegfuhr was die Kamera einfach noch mit aufgezeichnet hat. Hätte die KI garantiert nicht erwähnt. Vielleicht noch das Auto, aber mehr nicht…

Von daher, zu überbewertet, menschliche Qualitäten einer KI zu überlassen, vielleicht in 10Jahren

[d.rink]

Hi Simon, vielen Dank für deine Rückmeldung. Mit gemini habe ich leider immer das Problem, dass ich den Fehler: Error: Resource has been exhausted (e.g. check quota). bekomme. Das obwohl ich echt wenige Anfragen mache, es tritt meist schon bei der 2ten oder 3ten Anfrage auf.

Ich habe mir auch mal openrouter angeschaut, da sind aber Modelle drin, die eine echt mäßige bis grottenschlechte Bildbeschreibung durchführen. Daher wollte ich ganz gerne das System mal so nachgebaut bekommen wie du es im video hattest.