Hallo,
habe heute OpenAI installiert und den ChatGPT Assistenten. Wenn ich dies nun über Laptop testen möchte, werde ich immer darauf hingewiesen, dass ich kein HTTPS benutze und es könne dadurch nicht auf das Mikrofon zugegriffen werden.
Ich hatte ne Zeit lang https, bin aber wieder zurück, da ich die HA Cloud Nabu habe.
Wie muss ich nun vorgehen, dass ich es auch mit dem PC (Laptop) nutzen kann?
Ganz einfach,
Du musst Dich vom Laptop aus, auf die “externe” Verbindung über NabuCasa anmelden, dann klappt es.
Alternativ zum Testen einfach Text in Assist eingeben, das geht auch über http.
Hallo,
ich war überrascht, als ich in der Ankündigung des neuen Updates 2024.6.0 gelesen habe, dass (etwas) KI beim HA einzieht.
Hat von Euch das schon jemand ausprobiert und ist es wirklich hilfreich? Ist hierzu die HomeAssistant Cloud (NabuCasa) zwingend notwendig oder kann man dies auch ohne Abbo bei sich laufen lassen?
Grüße
Es gibt dazu bereits zahlreiche YT-Videos, da ist es ziemlich gut erklärt.
Vorab:
Bei mir mit der Nabu-Casa-Cloud funktioniert es sehr gut, es geht aber auch ohne
Nabu-Casa:
Danke für diese Links - damit habe ich bei mir die benötigten Ad-ons installiert und einrichten können.
Einzig am Punkt des “Billings” bin ich gescheitert. Muss man zwangsläufig eine der Varianten vom OpenAI abbonieren bzw. entstehen hier Kosten? Ich schaue bei den Angaben und der Vielfalt an verschiedenen Varianten nicht durch…
Es sind ein paar Cent die abgebucht werden du kannst dein chatgpt Konto mit 5 oder 10 Dollar auffüllen
Du kannst unabhängig von nabu casa lokal Verschlüsselung nutzen.
Habe ich bei mir laufen, trotz VPN und nabu Casa.
Ich hab 5$ auf mein Konto geladen, kostet incl. Steuern 5.95$ und mit dem aktuellen Wechselkurs €5.54.
Wichtig das automatische Nachladen deaktivieren.
Ich habe jetzt ein paar Tage „rumgespielt“ und seither nur 0.17$ verbraucht 
ok - danke für die Info. Damit habe ich ein Gefühl, was das an Kosten mit sich bringt. Die Infos auf der Homepage konnte ich nicht ein schätzen 
Update:
OpenAI ist im vgl zum “StandardHA” schon besser - das System kann mit verschiedenen Sätzen gefüttert werden und erkennt was gemacht werden soll.
Im Haus habe ich mehrere Alexas, die wir bisher für die Steuerungen nutzen. Ich habe die Alexa mit dem HA verknüpft und über exakte Sprachbefehle, die bei Alexa hinterlegt sind, steuern wir z.B. die Rolläden.
Das ist immer etwas nervig, da man gerne vergisst, was genau hinterlegt wurde (Bsp.: auf die Frage: “Alexa, sind die Fenster zu” gibts keine Antwort; auf “Alexa, sind alle Fenster zu” gibts Feedback). Nun alle Fragemöglichkeiten bei Alexa einzutexten macht auch keine Freude.
Daher nun meine Frage - Gibt es eine Möglichkeit, die Alexaspracherkennung direkt (ohne den Kram dahinter) mit dem OpenAI des HA zu verknüpfen? Dann hätte man ein flott und meist richtig erkennendes “Speech->Text” und dahintergeschaltet die entsprechende logische Verknüpfung über OpenAI auf die Schnittstellen des HA. Das Beste aus zwei bzw. drei Welten… 
by HarryP: Zusammenführung Doppelpost (bitte “bearbeiten” Funktion nutzen)
Eine Frage habe ich dabei: werden irgendwelche sicherheitsrelevanten Informationen vom HA an OpenAI übermittelt, oder ist das unkritisch. Ich habe bei keinem Video nur eine Silbe davon gehört.
Hallo, ich habe mich jetzt schon einige Tage mit dem Sprachassitenten Assist beschäftigt und denke schon, dass das alles auf dem richtigen Weg ist. Zunächst musste ich mir natürlich einiges Zubehör bestellen, ich habe derzeit hiefür in Betrieb:
Alle drei funktionieren grundsätzlich wobei der Satelitte mit dem Anker Lautsprecher natürlich die deutlichste und lauteste Sprachausgabe hat. Die S3 Box ist schon recht zuverlässig und auch recht schnell, allerdings ein wenig leise. Der M5Stack ist sehr klein aber auch sehr leise, er versteht auch nicht so gut wie die anderen beiden.
Ich habe sowohl openai und googleai probiert, lokal funktioniert auch ist aber eingeschränkter, eigen wake word auf den devices funktionieren bislang bei mir noch nicht deswegen lasse ich das über HA laufen. Ich habe festgestellt das die Antworten bei google AI schneller sind als bei openai, openai ist dafür aber etwas besser. Manchmal schalten die KIs auch Unsinn, da muss man schon mal in den Logs schauen was gerade an bzw aus gegangen ist, aber das lässt sich durch Aliase an den ENtitäten verbessern. Was bislang noch nicht erkannt wird sind automationen mit festgelegten Sätzen und Antworten, aber im Prinzip auch nicht schlimm weil ich ja grundsätzlich von den vorgegeben Sätzen weg will.
Die eigene Wakewordentwicklung hat gut geklappt und gefühlt ist es so, dass das wakeword zunehmend besser verstanden wird.
Es funktioniert noch nicht so reibungslos wie Alexa, aber an Siri ist es dicht dran, ich glaube diese Entwicklung hat erhebliches potenzial und sehe perspektivisch schon, dass Alexa und Co dadurch verzichtbar wird.
Ergänzung zu meinem vorhergehenden Post.
Ich habe mittlerweile die Erfahrung gemacht, dass openAI durchaus einiges kostet. Ich hatte mir ein Budget von 20 Euro gegeben, das war dann in wenigen Tagen aufgebraucht. Ich nutze daher nun primär google AI. Mittlerweile muss ich sagen, dass es durchaus noch Entwicklungsbedarf gibt. Es wird doch recht häufig nicht bzw. falsch verstanden und daher dann die falsche Aktion ausgeführt. D.h. für mich das System (das LLM) muss geschult bzw. angelernt werden. Ich versuche das gerade mit dem prompts des Google AI Studios. Allerdings ist das für mich völliges Neuland also sehr viel trial and error. Gibt es andere die sich damit beschäftigen? Ich wäre dann an einem Erfahrungsaustausch sehr interessiert.
Bzgl. des erkennens der Sprachbefehle hat sich die ESP32 S3 Box 3 als zuverlässigste heraus gestellt. Da ist die Trefferquote recht hoch. Mit Abstand aber dann am zweiter Stelle kommt der M5Stack, der allerdings sehr leise ist. Daher habe ich ihn um einen Lautsprecher ergänzt, dadurch versteht man ihn nun deutlich besser… Der Wyoming Satelitte mit dem Anker Lautsprecher versteht nicht so gut und ist auch recht langsam. Erstaunlicherweise sind die Interpretationen und dadurch auch die Reaktionen der „Assets“ auch sehr unterschiedlich, obwohl sie grundsätzlich gleich aufgesetzt sind und auf das gleiche Assist zugreifen.
Hier mal wieder ein update, GPT 4.o war mir einfach zu teuer geworden und Google AI funktionierte nicht mehr richtig, weil ich die “intents” löschen musste. Nach langem suchen habe ich dann die folgende Repository gefunden:
die habe ich nun installiert und nutze sie für assist sie klappt mir gut 3.5 turbo und ist dadurch deutlich günstiger. Nach ein wenig feintuning habe ich nun eiin System welches einigermassen stabil läuft (mit intents). Interessant ist, dass der “Assist” geschriebene Anweisungen viel klarer erkennt und auch befolgt. Da ist also noch eine Verbesserung beim Sprachassistenten erforderlich. Ich habe darüber hinaus inzwischen überwiegend den M5Atom in Verwendung, und zwar habe ich den nun so eingerichtet, dass die Ausgabe nicht mehr über den eigenen Lautsprecher sondern über einen von mir gewählten media.player erfolgt. Dadurch kann man ihn deutlich besser verstehen.
Das ganze funktioniert noch nicht so stabil und schnell wie Alexa, ich bin aber sehr optimistisch, dass dies über kurz oder lang möglich sein wird.