ich bin aktuell auf der Suche nach einem möglichst RAM-effizienten LLM (Large Language Model), das ich mit Ollama betreiben kann. Mir stehen auf meinem System etwa 4 bis 5 GB RAM zur Verfügung mit einem i5 8500t.
Ziel ist es, das Modell in Home Assistant für den Assist-Dialog einzubinden, also idealerweise mit Tool-Unterstützung, sodass ich damit z. B. Geräte steuern oder Abfragen machen kann.
Mich würde sehr interessieren, welche Modelle ihr bei euch nutzt, wenn ihr ebenfalls mit begrenztem Arbeitsspeicher und keiner GPU arbeitet.
Habt ihr Empfehlungen oder Erfahrungswerte, was gut läuft und trotzdem brauchbare Antworten liefert?
Freue mich auf eure Tipps und den Austausch!
Vielen Dank schon mal im Voraus!
ich kenne Deine Anforderungen, sprich Antwortzeiten usw., nicht und ich bin auch niemand, der sich zu 100 % in der Materie auskennt, aber ich glaube, mit Deiner Hardware wird das wohl nichts werden.
Da die CPU, deren Kerne, ja nicht exklusive, nur für ollama und die Abfragen zur Verfügung stehen, sondern ja anscheinend noch andere Sachen darauf laufen, reicht die Hardware nicht aus, ist so mein Bauchgefühl.
Es gibt hier schon den einen oder anderen Thread dazu, z. B.
Wenn ich da dann lese, dass dort auf ein Mac Mini 4 Pro mit M$ CPU und NPU, GPU gesetzt wird, mit massenhaft Memory usw. dann hinkt es mit Deiner Hardware noch mehr.
Aber ich lasse mich da gern eines besseren belehren
Ja, du hast absolut recht – die Hardware ist da wirklich eher die untere Grenze.
Trotzdem hatte ich mit einer Variante von dem llama3.2-Modell ganz gute Erfahrungen, zumindest z. B. in Kombination mit Paperless-AI, da lief es erstaunlich rund!
Das große Aber: Leider unterstützt dieses Modell eben keine Tools, was ja nötig wäre, um es als echten Assistant in Home Assistant zu nutzen.
Und genau da liegt mein Knackpunkt – ich habe wirklich einiges ausprobiert, aber bisher kein Modell gefunden, das klein genug ist und gleichzeitig die Tool-Unterstützung bietet.
Ich werde mir mal deine Thread-Empfehlung anschauen, vielen Dank dafür!
Am Speicher hat es definiert nicht gelegen. Bei Dir würde es dann eher so sein.
Interessant war auch, daß Paperless-AI noch llama3 nur 2 der 4 verfügbaren AMD CPU Threads auf der NAS in Anspruch nahmen.
