LLM Vision mit Olama für lokale Bildanalyse der Überwachungskameras

Allgemein
1

Hallo Zusammen

Nutzt jemand LLM Vision ohne eine Cloud AI sondern bspw. lokal mit Ollama im Einsatz? Ich möchte dies gerne so nutzen, Usecase wäre, dass ich den Stream meiner Überwachungskameras (vier Stück) oder auch nur einzelne Snapshots daraus (ausgelöst durch ein bestimmtes Ereignis) analysiere und die AI frage, was auf dem Bild zu sehen ist oder ob auf dem Bild XY zu sehen ist.

Was ist hierfür für eine Hardware notwendig bzw. was würdet ihr hier empfehlen? Auf meinem Raspery PI 4 werde ich da wohl nicht glücklich werden :slight_smile:

Danke für eure Tipps & Gruss
Stefan

2

Moin,

für das wichtigste geht das doch schon mit Frigate

Empfehlen werde ich da nichts, aber ich gebe Dir mal ein paar Hinweise, alle aktuellen Notebooks / Mini-PCs mit dem Lable Windows Copilot+ KI haben eine NPU, die dafür geschaffen ist, oder Du suchst Dir eine TPU von Google Coral, den gibt es auch als USB für RasPI.

Egal ob nun Ollama, oder Frigate eine NPU ist ein Muss, sonst macht das Analysieren keinen Spaß.

VG
Bernd

1 „Gefällt mir“