Smarter AI-Assistent

Showroom
1

Open your Home Assistant instance and show the blueprint import dialog with a specific blueprint pre-filled.

image
image767×128 8.09 KB

Hallo zusammen,
ich möchte euch mal mein Tool vorstellen, dass ich in den letzten Wochen ausgearbeitet habe:

Der Agent 1 ist ein persönlicher Assistent, der dabei hilft, den Alltag effizient zu organisieren und optimal vorbereitet zu sein. Hier sind die Funktionen im Überblick:

:sun_behind_rain_cloud: Wetter-Updates
Durch die Wetter-Updates erhält man jeden morgen eine personalisierte Vorhersage, die auch die Kleidung vorschlägt, die man anziehen kann (sollte). Der Agent liefert detaillierte Vorhersagen mit Temperatur, Wetterbedingungen und Regenwahrscheinlichkeit.

:date: Kalenderverwaltung
Der Agent durchsucht angegebene Kalender und listet alle Ereignisse auf, die in den nächsten Stunden stattfinden, um die Tagesplanung zu erleichtern. Mehrere Kalender können ausgewählt werden, um Benachrichtigungen für unterschiedliche Ereignisse zu erhalten.

:tada: Erinnerungen an besondere Anlässe
Besondere Anlässe wie Geburtstage, Jubiläen und andere wichtige Ereignisse werden zuverlässig in Erinnerung gerufen, damit nichts vergessen wird.

:iphone: Anpassbare Benachrichtigungen
Durch die anpassbare Benachrichtigung kann festgelegt werden, wann das tägliche Briefing gesendet wird und welcher Benachrichtigungsdienst sowie welches Zielgerät genutzt werden soll. Es können beispielsweise Dienste wie Nextcloud Talk verwendet werden.

:sparkles: Personalisierte Erfahrung
Der Agent kann mit einem individuellen Prompt konfiguriert werden, um Nachrichten genau an persönliche Vorlieben und den bevorzugten Stil anzupassen.

:robot: KI-Integration
Die gesamte Nachricht wird mit einem KI-Dienst wie Home Assistant, Google AI oder OpenAI erstellt und gesendet. Das ganze wäre mit Google AI kostenlos. Falls ihr wissen wollt, wie das genau geht, schreibt gerne!

Es sind kleine Updates geplant, um die Funktionalität kontinuierlich zu erweitern. Vorschläge zur Verbesserung sind ebenfalls willkommen, um das Tool noch produktiver zu machen.

Ich freue mich über euer Feedback dazu!
Bitte beachtet aber, dass das alles ein KI-Produkt ist, und diese so antworten sollte; es gibt keine Garantie, dass man den nächsten Geburtstag/Namenstag/etc. nicht mehr vergisst :wink:

Vielen Dank,
schBenedikt

Ergänzung: Github Gists Link

10 „Gefällt mir“
2

Coole Nummer, danke für Deinen Einsatz.:+1:t2: Ich probier das mal aus.

3

Hey super, klingt vielversprechend.

Was muss ich denn als Dienst und Ziel eingeben, wenn ich es als Push auf mein Telefon über die App bekommen möchte?

4

Hallo @SebastianVoigt,

um eine Push-Benachrichtigung auf dein Handy zu bekommen, brauchst du grundsätzlich eine App, über die du die Benachrichtigung schicken möchtest.
Das wäre z. B. Nextcloud Talk, Whatsapp oder Telegram.
Du könntest deine Nachricht auch auf dein Handy über das Home-Assistant-App schicken (z. B. so: notify.mobile_app_iphone_von_xxx).

Hier musst du aber beachten, dass nicht die ganze Benachrichtigung angezeigt wird; und wenn man hochtippt ist die auch verschwunden.

Deswegen: Externer/Self Hosted Messenger, wo die Nachrichten gespeichert werden und auch nochmal angeschaut werden können.

Hoffentlich konnte ich dir weiterhelfen,
schBenedikt

IMG_8991
IMG_89911179×1109 116 KB

5

Hi, danke für die Antwort.
Dass dort der Platz nicht ausreicht, habe ich natürlich nicht bedacht. :sweat_smile:
Ich lasse es mir jetzt über WhatsApp schicken, was aber leider nicht klappt.
Es wird nur ein Auszug des Promts geschickt.

Clipboard 08.12.2024, 12.03
Clipboard 08.12.2024, 12.03714×554 87.7 KB

alias: Agent 1
description: ""
use_blueprint:
  path: SchBenedikt/agent_1-de.yaml
  input:
    conversation_agent: conversation.home_assistant
    zone_entity: zone.home
    weather_entity: weather.forecast_home
    calendar_entities:
      - calendar.familie
      - calendar.privat
      - calendar.standardkalender
    notify_service: notify.whatsapp
6

Das ist verwunderlich…

image
image1081×412 31 KB

Es scheint, als wäre dein Konversations-Agent HomeAssistant. Evtl. kannst du das mal umändern in Chatgpt, Google AI, llama oder irgendeine andere?
HomeAssistant liefert da dann nämlich keine richtigen Antworten weil das - glaub ich - ja kein Large Language Model ist.
Ändere das mal um - vielleicht funktioniert es dann.

Google AI ist kostenlos; das könntest du einrichten.

1 „Gefällt mir“
7

Wie es scheint, wird hier auch nicht der komplette Text übermittelt… Das ist schade, aber ich denke, die KI generiert nicht so einen langen Text wie der Prompt ist.

8

Also es lag scheinbar echt am HomeAssistant Agenten.
Mit Google AI gehts.

Vielen Dank, dann werde ich mal bissel damit rumspielen.
-__________________________________________________-

Edit:

Der Promt wird bei mir irgendwie auch nicht wirklich komplett beachtet.
Termine aus meinen Kalendern werden nicht übergeben und der Promt (- Falls keine Termine anstehen, informiere nicht darüber.) wird ignoriert.

Selbst wenn ich es umschreibe und kürze ändert es sich nicht wirklich.

9

Super Sache. Genau sowas fehlt mir noch.

Wird getestet :ok_hand:t2:

Btw.:
Was ist damit gemeint?

:dart: Das Ziel des Benachrichtigungsdienstes.

Wie / wo muss ich konfigurieren, dass ich diese Beispielausgabe bekomme?

image
image767×128 8.09 KB

10

Guten Abend @Samhain,

grundsätzlich brauchst du einmal diese Konfiguration nicht unbedingt. Wenn du aber zum Beispiel Nextcloud Talk als Benachrichtigungsdienst verwendest, dann muss man hier noch die Chat-ID eingeben; das steht aber immer in den Docs des jeweiligen Benachrichtigungsdienstes.
Um die Push-Benachrichtigung mal zu testen, kannst du einfach mal bei “Benachrichtigungsdienst-Name” notify.mobile_app_NAME eingeben; dann wird die Benachrichtigung einfach über das App an dein Smartphone geschickt.

Kurz gesagt: Manchmal braucht man dieses Feld (in Englisch als “Target” bezeichnet), aber das steht in jeder Dokumentation zu dem jeweiligen Benachrichtigungsdienst.

Hoffentlich konnte ich dir weiterhelfen!

Viele Grüße,
schBenedikt

11

Danke für die Info. Das hilft schonmal.

Leider bekomme ich trotz Konfiguration von z.B. der Wetterentität keine Ausgabe oder muss das im Gesprächsagent-Prompt erst konfiguriert werden?

Ich habe mal testweise ein paar Kommandos in dem Prompt hinterlegt. Dann kommt audh die Ausgabe dafür, aber die anderen Informationen kommen nicht,.

Mir würde erstmal helfen, wenn ich weis wie ich zu dem in der vorhergenannten Hardcopy eine Ausgabe bekomme. Dann kann ich mir selbst helfen.

Im deinem Github wäre cool, wenn Du da ne kleine Einleitung hinterlegen könntest :slight_smile:

12

Hallo,

ich bin mir nicht ganz sicher, ob ich dich richtig verstanden habe.

Du konfigurierst ja den Benachrichtigungsdienst und fügst deine Kalender/Wetter-Identitäten, etc. hinzu. Wenn du die Automatisierung dann startest, solltest du eine Benachrichtigung erhalten, die einen Text enthält?

Der Prompt, der so vor eingestellt war, würde eigentlich auch dafür passen.
Ich weiß aber nicht, ob ich dich jetzt richtig verstanden habe… Oder liegt das Problem wo anders? Was möchtest du im Gesprächsagent-Prompt noch erst konfigurieren?
Der Gesprächsagent muss auf alle Fälle auf ein AI-Modell, also z. B. auf Google AI, llama3.3, etc… gestellt sein.

Viele Grüße!

13

Wenn ich es richtig verstehe werden keine weiteren Befehle im Prompt unten benötigt, sondern sollte es eigentlich mit den Default Einstellungen (wie von Dir beschrieben: Kalender/Wetter usw.) funktionieren.

… das geht leider bei mir nicht.

notifys nutze ich an anderen Stellen problemlos. Damit kenne ich mich eigentlich aus.

Als notifiy habe ich im Moment: notify.alexa_media_last_called
für Alexa Ausgabe. Das geht leider nicht.

14

Ok.

Mit der Alexa-Benachrichtigung kenne ich mich nicht aus.
Aber die Benachrichtigung musst du dir an irgendeinen Dienst (WhatsApp/Telegram) schicken, wo das dann auch als Text angezeigt wird.

Zeigt es dir vielleicht unter “Traces” irgendwelche Fehlermeldungen an?

15

Fehlermeldung kommt keine.

Wenn ich den Notify über Alexa mache, dann bekomme ich über dein BP als Sprachausgabe vorgelesen:

"- Achte auf korrekte Grammatik und sinnvolle Satzstrukturen.

  • Nutze Absätze."
16

Das ist tatsächlich verwunderlich. Was du noch ausprobieren könntest, wäre, den ganzen Blueprint nochmal zu entfernen und neu hinzuzufügen.

Dann kannst du, wenn du oben rechts auf das 3-Punkte-Menü gehst, die Konfiguration im YAML vornehmen:

alias: Agent 1
description: ""
use_blueprint:
  path: SchBenedikt/agent_1-de.yaml
  input:
    notify_service: notify.nctalkbot
    weather_entity: weather.zuhause
    zone_entity: zone.home
    conversation_agent: conversation.google_generative_ai
    notify_target: DEINE_ID [Falls vorhanden, sonst entfernen)
    calendar_entities:
      - calendar.geburtstage

Welchen Konversations-Agent hast du eigentlich festgelegt?

17

alles entfernt und BP neu importiert:

Gleiches Ergebnis:
Sprachausgabe:
"korrekte Grammatik und sinnvolle Satzstrukturen.

  • Nutze Absätze. existiert nicht"

Als Gesprächs Assistent nutze ich Home Assistant

18

Vielleicht generiert der die AI-Antwort nicht richtig?

19

Genauso ist es auch.

Mit Google AI funktioniert es. Hatte ich noch nie konfiguriert und natürlich in das Problem gelaufen, dass man mit Safari keinen API Key erzeugen kann. Mit Chrome ging es dann …

Danke. Das war der entscheidende Hinweis! :slight_smile:

Sprachausgabe auf Alexa funktioniert damit :wink:

20

Also Ich habe mich über Safari bei Google AI eingeloggt und habe Mienen API Key bekommen.

Funktioniert es denn bei dir mit den Kalendern?
Bei mir kommt immer, dass ich keine Einträge habe, obwohl ich extra welche angelegt habe und sie auch in HA angezeigt werden.