habe heute OpenAI installiert und den ChatGPT Assistenten. Wenn ich dies nun über Laptop testen möchte, werde ich immer darauf hingewiesen, dass ich kein HTTPS benutze und es könne dadurch nicht auf das Mikrofon zugegriffen werden.
Ich hatte ne Zeit lang https, bin aber wieder zurück, da ich die HA Cloud Nabu habe.
Wie muss ich nun vorgehen, dass ich es auch mit dem PC (Laptop) nutzen kann?
Du musst Dich vom Laptop aus, auf die “externe” Verbindung über NabuCasa anmelden, dann klappt es.
Alternativ zum Testen einfach Text in Assist eingeben, das geht auch über http.
ich war überrascht, als ich in der Ankündigung des neuen Updates 2024.6.0 gelesen habe, dass (etwas) KI beim HA einzieht.
Hat von Euch das schon jemand ausprobiert und ist es wirklich hilfreich? Ist hierzu die HomeAssistant Cloud (NabuCasa) zwingend notwendig oder kann man dies auch ohne Abbo bei sich laufen lassen?
Es gibt dazu bereits zahlreiche YT-Videos, da ist es ziemlich gut erklärt.
Vorab:
Bei mir mit der Nabu-Casa-Cloud funktioniert es sehr gut, es geht aber auch ohne
Nabu-Casa:
Danke für diese Links - damit habe ich bei mir die benötigten Ad-ons installiert und einrichten können.
Einzig am Punkt des “Billings” bin ich gescheitert. Muss man zwangsläufig eine der Varianten vom OpenAI abbonieren bzw. entstehen hier Kosten? Ich schaue bei den Angaben und der Vielfalt an verschiedenen Varianten nicht durch…
Ich hab 5$ auf mein Konto geladen, kostet incl. Steuern 5.95$ und mit dem aktuellen Wechselkurs €5.54.
Wichtig das automatische Nachladen deaktivieren.
Ich habe jetzt ein paar Tage „rumgespielt“ und seither nur 0.17$ verbraucht
ok - danke für die Info. Damit habe ich ein Gefühl, was das an Kosten mit sich bringt. Die Infos auf der Homepage konnte ich nicht ein schätzen
Update:
OpenAI ist im vgl zum “StandardHA” schon besser - das System kann mit verschiedenen Sätzen gefüttert werden und erkennt was gemacht werden soll.
Im Haus habe ich mehrere Alexas, die wir bisher für die Steuerungen nutzen. Ich habe die Alexa mit dem HA verknüpft und über exakte Sprachbefehle, die bei Alexa hinterlegt sind, steuern wir z.B. die Rolläden.
Das ist immer etwas nervig, da man gerne vergisst, was genau hinterlegt wurde (Bsp.: auf die Frage: “Alexa, sind die Fenster zu” gibts keine Antwort; auf “Alexa, sind alle Fenster zu” gibts Feedback). Nun alle Fragemöglichkeiten bei Alexa einzutexten macht auch keine Freude.
Daher nun meine Frage - Gibt es eine Möglichkeit, die Alexaspracherkennung direkt (ohne den Kram dahinter) mit dem OpenAI des HA zu verknüpfen? Dann hätte man ein flott und meist richtig erkennendes “Speech->Text” und dahintergeschaltet die entsprechende logische Verknüpfung über OpenAI auf die Schnittstellen des HA. Das Beste aus zwei bzw. drei Welten…
by HarryP: Zusammenführung Doppelpost (bitte “bearbeiten” Funktion nutzen)
Eine Frage habe ich dabei: werden irgendwelche sicherheitsrelevanten Informationen vom HA an OpenAI übermittelt, oder ist das unkritisch. Ich habe bei keinem Video nur eine Silbe davon gehört.
Hallo, ich habe mich jetzt schon einige Tage mit dem Sprachassitenten Assist beschäftigt und denke schon, dass das alles auf dem richtigen Weg ist. Zunächst musste ich mir natürlich einiges Zubehör bestellen, ich habe derzeit hiefür in Betrieb:
ESP32 S3 Box 3
Wyoming Satelitte (auf alten Raspberry PI 3) mit Anker Lautsprecher und Micro
M5Stack Atom Echo
Alle drei funktionieren grundsätzlich wobei der Satelitte mit dem Anker Lautsprecher natürlich die deutlichste und lauteste Sprachausgabe hat. Die S3 Box ist schon recht zuverlässig und auch recht schnell, allerdings ein wenig leise. Der M5Stack ist sehr klein aber auch sehr leise, er versteht auch nicht so gut wie die anderen beiden.
Ich habe sowohl openai und googleai probiert, lokal funktioniert auch ist aber eingeschränkter, eigen wake word auf den devices funktionieren bislang bei mir noch nicht deswegen lasse ich das über HA laufen. Ich habe festgestellt das die Antworten bei google AI schneller sind als bei openai, openai ist dafür aber etwas besser. Manchmal schalten die KIs auch Unsinn, da muss man schon mal in den Logs schauen was gerade an bzw aus gegangen ist, aber das lässt sich durch Aliase an den ENtitäten verbessern. Was bislang noch nicht erkannt wird sind automationen mit festgelegten Sätzen und Antworten, aber im Prinzip auch nicht schlimm weil ich ja grundsätzlich von den vorgegeben Sätzen weg will.
Die eigene Wakewordentwicklung hat gut geklappt und gefühlt ist es so, dass das wakeword zunehmend besser verstanden wird.
Es funktioniert noch nicht so reibungslos wie Alexa, aber an Siri ist es dicht dran, ich glaube diese Entwicklung hat erhebliches potenzial und sehe perspektivisch schon, dass Alexa und Co dadurch verzichtbar wird.
Ergänzung zu meinem vorhergehenden Post.
Ich habe mittlerweile die Erfahrung gemacht, dass openAI durchaus einiges kostet. Ich hatte mir ein Budget von 20 Euro gegeben, das war dann in wenigen Tagen aufgebraucht. Ich nutze daher nun primär google AI. Mittlerweile muss ich sagen, dass es durchaus noch Entwicklungsbedarf gibt. Es wird doch recht häufig nicht bzw. falsch verstanden und daher dann die falsche Aktion ausgeführt. D.h. für mich das System (das LLM) muss geschult bzw. angelernt werden. Ich versuche das gerade mit dem prompts des Google AI Studios. Allerdings ist das für mich völliges Neuland also sehr viel trial and error. Gibt es andere die sich damit beschäftigen? Ich wäre dann an einem Erfahrungsaustausch sehr interessiert.
Bzgl. des erkennens der Sprachbefehle hat sich die ESP32 S3 Box 3 als zuverlässigste heraus gestellt. Da ist die Trefferquote recht hoch. Mit Abstand aber dann am zweiter Stelle kommt der M5Stack, der allerdings sehr leise ist. Daher habe ich ihn um einen Lautsprecher ergänzt, dadurch versteht man ihn nun deutlich besser… Der Wyoming Satelitte mit dem Anker Lautsprecher versteht nicht so gut und ist auch recht langsam. Erstaunlicherweise sind die Interpretationen und dadurch auch die Reaktionen der „Assets“ auch sehr unterschiedlich, obwohl sie grundsätzlich gleich aufgesetzt sind und auf das gleiche Assist zugreifen.
Hier mal wieder ein update, GPT 4.o war mir einfach zu teuer geworden und Google AI funktionierte nicht mehr richtig, weil ich die “intents” löschen musste. Nach langem Suchen habe ich dann die folgende Repository gefunden: https://github.com/jekalmin/extended_openai_conversation
Das habe ich nun installiert und nutze es für Assist. Die Anwendung klappt gut mit got 3.5 turbo und ist dadurch deutlich günstiger. Nach ein wenig Feintuning habe ich nun ein System welches einigermassen stabil läuft (mit intents). Interessant ist, dass der “Assist” geschriebene Anweisungen viel klarer erkennt und auch befolgt. Da ist also noch eine Verbesserung beim Sprachassistenten erforderlich. Ich habe darüber hinaus inzwischen überwiegend den M5Atom in Verwendung, und zwar habe ich den nun so eingerichtet, dass die Ausgabe nicht mehr über den eigenen Lautsprecher sondern über einen von mir gewählten media.player erfolgt. Dadurch kann man ihn deutlich besser verstehen.
Das ganze funktioniert noch nicht so stabil und schnell wie Alexa, ich bin aber sehr optimistisch, dass dies über kurz oder lang möglich sein wird. Gibt’s weitere mit Erfahrungen zum Thema?
das Thema mit der Spracherkennung war mir auch schon aufgefallen. Alexa kann das deutlich. Leider habe ich noch keine Möglichkeit gefunden, Alexa als speech → text für den HA zu gebrauchen. Der Nutzen von Alexa hätte (für mich und ggf. einige andere auch) den Vorteil, dass die Dinger im Haushalt schon überall rumstehen und man sofort auf eine extrem gute Spracherkennung zurückgreifen könnte.
ich nutze Alexa auch, Nachteil, 1. die Daten werden an Amazon übertragen und 2. es ist derzeit noch nicht von KI unterstützt, so dass sowohl die Eingabe als auch die Ausgabe relativ begrenzt ist. Durch Assist besteht grundsätzlich die Möglichkeit das ganze lokaler zu gestalten und die Aufforderung offener: z.B. Bei Alexa muss man z.B. sagen “Schalte das Deckenlicht in der Küche an” dann sollte das psezifische Licht angeschaltet werden. Bei Assist sollte auch folgende Formulierung klappen: “Am Herd ist es etwas dunkel, kannst Du das ändern” dann würde Assist das Licht entsprechend anschalten.
Aber wie gesagt es läuft noch nicht so ganz sicher und steckt noch in der Kinderschuhen.
genau das Manko meine/kenne ich - Alexa kann sehr gut speech-to-text. Der Rest dahinter ist nicht so toll.
Daher meine Idee, Alexa nur als Speech-to-text (im Bild anstelle von fast-whisper) und die Verarbeitung dann im HA:
Ich bin sehr angetan von Chat GPT als Sprachassistent und das Geld für die API-Calls wäre mir das wert. Die Qualität des M5Atom finde ich weder in Bezug auf die Lautsprecher noch die Mikrofone tragbar. Am Liebsten hätte ich irgendetwas wie den Sonos oder eine meiner x-Alexas, jedoch dass der Sprachtransfer komplett über ChatGPT für HA läuft und Funktionen, wie Musik von Spotify abspielen dürfen auch nicht fehlen. Dafür will ich dann nur ein Aktivierungswort (wie Alexa oder Ok Nabu verwenden können.) Schade, dass es da noch keine Möglichkeit zu geben scheint.
ich habe ähnliche Erfahrungen mit dem M5 gemacht, ich würde ihn zur Zeit nicht empfehlen, mittlerweile funktioniert der Wyoming Sattelite am besten die ESP S3 Box geht auch nur der externe Lautsprecher klappt nnocht nicht
Eigenes Wakeword erstellen ist möglich, was ich nur noch nicht geschafft habe ist es das wakeword auf dem Gerät zu haben, das kommt aber ggf. kann das mit dem jüngsten ESP update gehen
ich bin jetzt so weit, dass ich externe Lautsprecher wieder vom M5 ansprechbar sind, allerdings geht das nicht mit Alexa und Apple speakern, bei mir klappt es mit Sonos und Google.