Ich habe einige Videos zu LLM Vision gesehen und finde spannend, was damit alles gemacht werden kann. Die Integrstion erlaubt ja verschiedene Anbieter, u.a. Ollama, wo ich auch einige gute Erfahrungen gelesen habe.
Hat hier schon jemand Erfahrungen gesammelt und kann berichten? Ist Ollama aus eurer Sicht empfehlenswert und das richtige Setup für die Bildanalyse von Kameras und nutzt dies jemand schon länger um etwas über die Kosten sagen zu können? Soweit ich weiss, ist eine gewisse Anzahl API calls enthalten, danach kostenpflichtig?
Meines Erachtens macht eine lokale KI nur dann Sinn, wenn ein Monsterrechner zur Verfügung steht. Ansonsten sind die Antwortzeiten nicht wirklich praktikabel nutzbar,
Das stimmt so nicht, es brauch keinen Monster-Rechner, nur eine aktzeptable Grafikkarte, die findet man auch schon in kleineren Rechnern, ich spiele schon eine Weile mit Ollama rum in Proxmox, CPU und RAM langweiligen sich zu Tode, nur über die 12800 Cuda Kerne (Geforce 1060 TI) freut sich die LLM
Ich nutze Ollama mit einem MacMini M4Pro, ja der muss gut ausgestattet sein und kostet auch, ist aber trotzdem preislich in einem vertretbarem range, und was wichtig ist. Rechner mit guten Grafikkarten sind stromhungrig, da kommen Kosten zusammen der Mac ist da deutlich sparsamer.
Sinn macht es aus meiner Sicht auf jeden Fall, weil die Daten eben lokal bleiben.
War auch meine Überlegung. Aber dann eher der neue Mac Mini (da müsste bereits die Einsteiger Version reichen?), günstiger und für Dauerbetrieb eher ausgelegt.
Ich hatte es Anfangs mit einem Mac mit M1 Prozessor versucht, der reicht aber nur für ganz kleine Modelle und die Ergebnisse sind überschaubar gut. Habe ich mich für den M4Pro mit ausreichend RAM entschieden. Ich setzte den allerdings auch für KI-Agenten in N8N ein, und die brauchen Leistung. Kommt also auch auf die Anwendung an.
Gruss Elmar