Ich habe einige Videos zu LLM Vision gesehen und finde spannend, was damit alles gemacht werden kann. Die Integrstion erlaubt ja verschiedene Anbieter, u.a. Ollama, wo ich auch einige gute Erfahrungen gelesen habe.
Hat hier schon jemand Erfahrungen gesammelt und kann berichten? Ist Ollama aus eurer Sicht empfehlenswert und das richtige Setup für die Bildanalyse von Kameras und nutzt dies jemand schon länger um etwas über die Kosten sagen zu können? Soweit ich weiss, ist eine gewisse Anzahl API calls enthalten, danach kostenpflichtig?
Meines Erachtens macht eine lokale KI nur dann Sinn, wenn ein Monsterrechner zur Verfügung steht. Ansonsten sind die Antwortzeiten nicht wirklich praktikabel nutzbar,
Das stimmt so nicht, es brauch keinen Monster-Rechner, nur eine aktzeptable Grafikkarte, die findet man auch schon in kleineren Rechnern, ich spiele schon eine Weile mit Ollama rum in Proxmox, CPU und RAM langweiligen sich zu Tode, nur über die 12800 Cuda Kerne (Geforce 1060 TI) freut sich die LLM
Ich nutze Ollama mit einem MacMini M4Pro, ja der muss gut ausgestattet sein und kostet auch, ist aber trotzdem preislich in einem vertretbarem range, und was wichtig ist. Rechner mit guten Grafikkarten sind stromhungrig, da kommen Kosten zusammen der Mac ist da deutlich sparsamer.
Sinn macht es aus meiner Sicht auf jeden Fall, weil die Daten eben lokal bleiben.
War auch meine Überlegung. Aber dann eher der neue Mac Mini (da müsste bereits die Einsteiger Version reichen?), günstiger und für Dauerbetrieb eher ausgelegt.
Ich hatte es Anfangs mit einem Mac mit M1 Prozessor versucht, der reicht aber nur für ganz kleine Modelle und die Ergebnisse sind überschaubar gut. Habe ich mich für den M4Pro mit ausreichend RAM entschieden. Ich setzte den allerdings auch für KI-Agenten in N8N ein, und die brauchen Leistung. Kommt also auch auf die Anwendung an.
Gruss Elmar
ich nutze seit kurzem ollama mit einer RTX 5070 Ti an meinem Lenovo Tiny M920x. Als Sprachmodell verwende ich für LLM Vision qwen2.5vl:7B. Das funktionierte am besten. geht auch sehr schnell und gut. Man muss sich ein bisschen mit dem Prompt rumspielen. da bin ich noch dabei. im übrigen geht auch das wechseln des modells im gpu-speicher sehr schnell, so dass es kaum Verzögerung hat, wenn ich mal für nen chat ein anderes modell verwende. was nicht gut klappt ist die Erkennung von Menschen aus dem memory. er beschreibt dann oft das Bild im memory statt das aktuell aufgenommene.
ich teste mich gerade u.a.mit Ollama in verschiedene Settings durch, so nach dem Motte, welche Modelle laufen wie und brauchen wieviel Rechenpower CPU, bzw GPU um noch schnell genug zu arbeiten.
Als Vision Modell gefällt mir aha2025/llama-joycaption-beta-one-hf-llava:Q4_K_M ganz gut, aber es kommen ja fast jedne Tag neue Modelle raus,und ich bin guter Hoffnung dass ich noch ein Modell finde, welches ein wenig schneller auf der 6GB GPU läuft.
Setting 1:
CPU: AMD FX-8300 (8) @ 3.300GHzGPU:
NVIDIA GeForce GTX 1660 (6GB GPU)
Memory: 1056MiB / 30950MiB
Ich denke dass das auf Dauer das Setting wird, welches das Arbeirstier für
Ollama wird. Aber ich liebäugel auf Daueer auch mit einem MAC, da die eben viel weniger
Energie verbrauchen.
Setting 2:
Raspberry PI 5 mit 8GB (CPU Only)Dafür dass das Board gar keine GPU hat, laufen
einige Modelle noch recht flott. Selbst 7B Modelle laufen moch, aber sehr langsam.
Setting 3:
CPU: AMD Ryzen 5 2600 (12) @ 3.400GHz
GPU: NVIDIA GeForce RTX 5060 Ti
Memory: 7612MiB / 15400MiB
Hier laufen alle mittelgroßen Modelle also alles unter 30B noch einigermassen flüßig