HA Voice mit LLM - wiederholt ständig alle bisherigen Antworten + schaltet keine Geräte

Hallo HA-Gemeinde,

ich wünsche euch ein frohes neues Jahr :slight_smile:

Evtl. finde ich hier ja Hilfe!

Folgende Situation:
Ich habe HA Voice eingerichtet und möchte es mit einem lokalem LLM betreiben. Soweit klappt auch alles (LM Studio mit llama 3 8B, der Integration Local LLMs für HA zur Kommunikation mit dem LLM):

Ich kann alle möglichen Statuswerte abfragen, aber auch Matheaufgaben stellen. Alles wird korrekt wiedergegeben.

Jetzt gibt aber noch 2 Pferdefüße:

  1. Mir werden immer alle bisherigen Antworten vorgelesen. Es muss doch möglich sein, dass mir immer nur die aktuelle/letzte Antwort angesagt wird?!

  2. Es werden keine Geräte geschaltet. HA/LM Studio erkennt zwar den Zustand einer schaltbaren Steckdose, sagt dann auch das richtige (“Ich schalte die Steckdose ein”), macht es aber nicht.

Beim Model habe ich bereits eingestellt, dass sich nur die letzte Minute der Konversation gemerkt werden soll, außerdem nur das letzte Gespräch.
Unter den Geräten habe ich dem HA Voice auch erlaubt, HA Aktionen auszuführen.

Hat jemand von euch eine Idee?

Viele Grüße
Thomas

Hallo,

ich würde als erste schauen ob in den Einstellungen unter “Remember Conversation” die Anzahl gering ist, oder sogar ganz aus. Einfach mal probieren

Gruß
Elmar

Hallo Elmar,

danke dir für deine Vorschläge :slight_smile:

Leider ändert sich an dem Problem nichts, auch wenn ich bei “Number of past interactions to remember” und “remember_conversation_time_minuts” jeweils eine “0” eintrage :frowning:

Was mir aufgefallen ist: Im Whisper Add-On ist unter dem Protokoll eine ellenlange Historie angelegt, teils mit Fragen die ich vor Tagen gestellt habe. Kann man diese irgendwie löschen? Im Konfigurations-Menü von Whisper habe ich keine Einstellung dafür gefunden.

Viele Grüße
Thomas

Hi,
Meines wisses müsste das durch einen Neustart des Add-on weg sein, würde ich zumindest versuchen. Ich weis nur nicht ob whisper wirklich aufs Log zugreift, die Frage ist ob whisper das dann auch jedes mal an den Kommunikationsagenten überträgt. Falls du Nabu Casa hast teste doch mal ob es sauber funktioniert wenn du STT durch die HA Cloud machen lässt. Wenn es dann sauber funktioniert liegt es vermutlich an whisper

gruss Elmar

Hi Elmar,

ein Neustart des Add-Ons hat leider keine Änderung gebracht. Das mit der HA Cloud ist eine gute Idee, dass versuche ich mal mit dem Testmonat.

Viele Grüße

Thomas

So, habe im LLM-Model mal unter dem Punkt “STT” von Whisper auf HA Cloud umgestellt.
Das Ergbeniss ist leider unverändert, es werden auch so ständig die alten Antworten wiederholt.

An Whisper liegt es somit nicht.

Evtl. probiere ich auch mal ein anderes LLM.

Schönen Sonntag noch
Thomas

Hallo,

ja das Ergebnis ist dann eindeutig, es kann am LLM liegen, muss es aber nicht, welches nutzt Du? Ich komme ganz gut mit gpt-oss:20b aus, oder habe nun auch das olmo-3-7b-instruct in Nutzung das allerdings über LM Studio und nicht Ollama. ICh bin mir aber nicht sicher ob es das LLM ist, ich würde dann sogar eher vermuten, dass das TTS zwei mal abgespielt wird, (versehentlich) da das recht einfach zu testen ist (auch hier mal Homeassistant Cloud probieren) würde das einmal wechseln und mal sehen was dann passiert. Ansonsten besteht die die Möglichkeit, dass du zweimal triggerst und dadurch die dopplete Ausgabe kommt. Ich würde daher empfehlen, sofern nicht schion geschehen, zu debuggen und dann die Logs anzusehen.
Was für einen Voice Assistant nutzt du? Falls du den loggen kannst würde ich das auch empfehlen.

Gruß
Elmar

1 „Gefällt mir“

Erst einmal: Vielen Dank für deine Geduld! :slight_smile:

Ich habe jetzt auch mal olmo-3-7b-instruct ausprobiert. Leider wird immer noch alles wiedeholt (also nicht nur die letzten beiden Antworten sondern die letzten X Antworten. Im Extremfall hatte HA mir die letzten 11 Antworten wieder allesamt vorgelesen)

Das TTS auf HA Cloud umstellen hat daran leider auch nichts geändert.

Debuggun, uff. Bin zwar Technik-begeistert aber kein IT-ler, sowas habe ich noch nie gemacht. Befürchte das geht über meine Fähigkeiten hinaus.

Als Voice Assistent nutzte ich die HA Voice Preview Edition.

Wünsche dir auf jeden Fall noch einen schönen Abend
Thomas