Erfahrungswerte für HA Voice Assist und lokale LLM auf Mac Mini M1?

Allgemein
1

Hi,

EInj M1 Mac Mini wird bald bei mir in den Vorruhestand versetzt und nun möchte ihn ggf. noch als kleinen KI-Server zu Hause weiterbetreiben. HA selbst wird weiterhin auf einer anderen Maschine laufen. Hat jemand hier Erfahrungswerte mit lokalen LLM über home-llm (hacs) und Ollama konkret für ein Setup mit Mac Mini M1?

Anforderungen: Der Assistent soll über Sprache via HA voice preview edition (1) das Smart Home steuern können - und ggf. (2) ein paar Alltagsfragen der Familie mit Websuche beantworten. Können Eine minimal bessere Siri sozusagen. Wie ist das Wetter? Wie lange braucht Lasagne im Ofen? So Zeug…

(1) Umsetzung ist mir klar.
(2) Ist etwas mehr tricky. Gibt es Meinungen zu llm-intents (hacs)?

Habt ihr schon mal sowas gebaut und wenn ja wie sieht eure Architektur aus? Über Ideen und Austausch würde ich mich sehr freuen.

2

Das steht auch noch auf meiner todo Liste. :grinning_face_with_smiling_eyes:
16 GB RAM wäre die Mindestanforderung, mehr geht natürlich immer.
Die Installation ist ja Realität einfach, weiß gar nicht warum Du HACS ins Spiel bringst?

Gruß Osorkon

3

Haha. Ja, hast Recht. Da habe ich den Post schneller gesendet, als gedacht. Es gibt ja die Hauseigene Integration von Ollama. Bleibt nur noch offen, wie ich dem Home Voice Assistenten tools wie websearch beibringe. Hast Du dich damit schon beschäftigt? Ohne HA mache ich das momentan auf einem anderen Rechner über OpenWebUI, ziemlich straight forward.