Hallo zusammen,
stellt euch vor, der Hubble AI-Stack könnte sprechen und euch auf Nachfrage direkt Fragen beantworten wie: „Wie viel Solarertrag kommt heute?“ oder „Wann sollte ich große Verbraucher einschalten?“ und vieles mehr.
Genau das war der Plan. Dieser besondere Teil meines AI-Projekts war mir – vor allem im Rahmen der Barrierefreiheit – extrem wichtig. Da sind verdammt viel Herzblut, Zeit und auch einiges an Geld hineingeflossen.
Leider muss ich dieses Vorhaben nun begraben. 
Die Gründe dafür:
-
Home Assistant limitiert zu stark:
-
HA unterstützt im Grunde nur das Wyoming-Protokoll (Whisper/Piper). Das ist leistungstechnisch leider viel zu schwach auf der Brust und entspricht einfach nicht dem aktuellen Stand der Technik. Zudem verweist Home Assistant bei Sprachassistenten am Ende doch oft auf externe Cloud-KIs – etwas, das meiner Philosophie von einem komplett privaten, lokalen System absolut widerstrebt.
-
Restriktionen bei lokalen Modellen:
Es gibt da draußen zwar sehr vielversprechende Projekte für echte, lokale KI-Sprachmodelle. Diese scheitern aber letztendlich alle an den starren Systemgrenzen und Restriktionen von HA. -
Der Hardware-Hunger:
Das von mir bevorzugte, mehrsprachige Modell (DE/EN/FR…) ist ein echter NoBrainer.. klein, stark, lokal. Auf typischen Home-Assistant-Systemen – egal ob Proxmox-VM, ARM-Einplatinencomputern oder kleinen Mini-PCs – würde es das System jedoch sofort zum Absturz bringen. Ich habe es hier bei mir lokal zwar auf einem 2016 Laptop mit Bare-Metal stabil zum Laufen bekommen, aber benutzerfreundlich ist das absolut nicht - man braucht dafür aktuell eine krude Brücke zurück zu Whisper, was die Vorteile des modernen Modells direkt wieder zunichtemacht.
Das bedeutet am Ende:
NUR die Docker-Standalone-Version wird sprechen können. Für die normale Home-Assistant-Integration muss ich das Thema Spracherkennung und -ausgabe leider streichen.
Zara