FYI: Mal ein Beispiel dafür was Google alles so über einen weiß, speichert und abfragt

[Jim_OS]

Bekanntlich bin ich - aus verschiedenen Gründen - nicht gerade ein Freund von irgendwelchen KIs, sprich ich nutze diese nicht. Trotzdem habe ich mir gerade mal den Google KI Vorschlag angeschaut, als ich per Google Suche danach gesucht habe wie ich eine Benachrichtigung an einen Nest Hub senden könnte wenn ein HA Script etwas ausgelöst hat. Was mir die Google KI dann geliefert hat hat mich schon etwas erstaunt, bzw. auch “irritiert”.

Vorab:

1. Ich nutze hier Waterfox als Browser und Cookies und Website-Daten werden beim beenden von Waterfox gelöscht.
2. Der Aufruf der Google Suche war der erste Aufruf nach dem starten von Waterfox.
3. Ich habe hier drei Nest Hubs bei HA eingebunden und Google Home ist auch über Nabu Casa mit HA verbunden.
4. Ich war bei dem Browser nicht irgendwie bei irgendeinem Google Dienst eingeloggt.
5. In meinem Google Konto sind alle Möglichkeiten das und was Google über mich und meine Aktivitäten speichern kann und darf, so weit wie nur möglich deaktiviert.

Meine Google Suchanfrage lautete einfach: “Home Assistant Automation Eine Antwort an einen Nest Hub wenn über ein Script eine Entität erfolgreich aktiviert wurde” Der Name der Entität oder des Scripts wurde von mir nicht genannt.

Hier jetzt ein Screenshot von dem Google KI Ergebnis.

Wie man unschwer erkennen kann weiß die Google KI das eine Entität für einen meiner Nest Hubs hier nest_hub_wohnzimmer lautet. Die Frage ist: Woher wusste Google das in dem Moment?

Entweder die Google Suche hat in dem Moment - wie auch immer - festgestellt das hier auch Google Home aktiv ist, welche Geräte es da gibt und wie deren Entitäten dann unter HA heißen, oder - weil ich hier quasi eine statische WAN-IP habe - Google wusste noch von irgendeiner alten Anfrage an die Google Suche von vor ein paar Wochen oder so, dass es hier unter der WAN-IP einen Nest Hub mit der Entität nest_hub_wohnzimmer gibt. Letzteres halte ich aber für eher unwahrscheinlich.

Das die Datenkrake Google versucht an so viele Daten wie nur möglich heran zu kommen, diese dann ewig speichert und auch kombiniert, ist mir natürlich klar, allerdings hat mich das hier jetzt doch schon erstaunt.

VG Jim

[Schlumperdix]

Könnte auch ein Zufall sein. media_player ist klar … Nest Hub hast du erwähnt im Prompt. Der Raum könnte Zufall sein… könnte….

[Jim_OS]

Jepp “könnte”, aber ich glaube doch eher das Google das irgendwie “herausgefunden” hat, bzw. wusste. Weil bei einem Zufall standen die Changen 1:3.

Ich werde da heute - oder die Tage - einfach noch mal ein paar Dinge mit der Google Suche ausprobieren, um zu sehen ob das ggf. wirklich nur Zufall war. Also z.B. mal temporär die Geräte umbenennen oder so. Mal sehe …

VG Jim

[lSi]

Na wenn du Google Home benutzt weiß doch Google was du benutzt und speichert das selbstverständlich auch und wertet das aus und ich denke es ist für Google ein Leichtes auch ohne eingeloggt zu sein oder Cookies zu verwenden wer da gerade am anderen Ende eine Frage stellt.

[Jim_OS]

@lSi

ich denke es ist für Google ein Leichtes auch ohne eingeloggt zu sein oder Cookies zu verwenden wer da gerade am anderen Ende eine Frage stellt.

Genau das wie - oder halt mit Deinen Worten das “Leichtes” - interessiert mich ja. Denn das würde ja auch bedeuten das Google in dem Moment in meinem LAN - incl. HA - “herumsucht”, um eben an aktuelle Informationen zu kommen. Weil die Google KI kann ansonsten ja nicht wissen was unter HA in dem Moment der Suchanfrage gerade an Entitäten existieren.

Denkbar wäre natürlich auch noch das die Google KI sich daran “erinnert” das es hier für einen Nest Hub unter HA mal die Entität nest_hub_wohnzimmer gab und diese dann einfach genutzt hat. Das wären dann eher das Thema Zufall was @Schlumperdix ja erwähnt hat.

Mir geht es also eher darum zu erfahren ob die Google Suche im Fall einer Suchanfrage hier irgendwie in meinem LAN “herumsucht”, aktuelle Daten daraus abgleicht und dann der Google KI Infos liefert, oder ob die Google KI auf irgendwelche alten Infos zurückgreift, die sie - wie auch immer - irgendwann mal zu meiner HA Installation in Erfahrung gebracht hat.

Wie gesagt habe ich mit irgendwelche KIs nichts am Hut und nutze diese auch gar nicht. Somit habe ich damit und mit deren Möglichkeiten, auch keinerlei Erfahrung. Wenn mir aber die Google KI von sich aus irgendwelche von mir benutzten Entitäten unter HA nennt, bzw. diese benutzt, dann ist das etwas über das ich mir dann ggf. doch mal Gedanken machen sollte, bzw. Gedanken mache. Das das Ganze mit ziemlicher Sicherheit mit der Nutzung der Nest Hubs und Google Home zu tun hat, dürfte recht klar sein.

Warum ich mir darüber Gedanke mache, bzw. machen will, dürfte wohl auch recht klar sein. Falls die Google KI hier irgendwelche Entitäten unter HA kennt, oder wie auch immer identifizieren kann, stellt sich die Frage was die Google KI sonst noch so alles über meine HA Installation und/oder andere Geräte hier im LAN weiß.

VG Jim

[lSi]

Ich glaube eher nicht das Google bei der Frage in deinem LAN rumsucht, sondern eher nur feststellt anhand von z.B. Hardware-/Software-IDs wer die Frage stellt und das dann mit den Informationen aus deinen Google Home Aktivitäten abgleicht.
Ich weiss das natürlich auch nicht genau, dazu müsste man das genauer untersuchen, aber das wäre mein Tip dazu oder es ist natürlich nur Zufall und Google hat nur geraten

[quosmio]

@Jim_OS

Home Assistant Automation Eine Antwort an einen Nest Hub wenn über ein Script eine Entität erfolgreich aktiviert wurde

Frag doch mal Google, woher die Annahme kam?

Ergänzung:

Ich habe deine Anfrage mal in meinem Brave-Browser in der Google-Suche hinterlegt. Ich habe kein Nest und keine Google Verknüpfung und erhalte:

alias: “Antwort auf Nest Hub nach Script”
trigger:

platform: state
entity_id: script.mein_aktivierungs_script
from: “running”
to: “idle” # Das Skript ist fertig
action:

service: tts.google_translate_say
data:
entity_id: media_player.nest_hub_wohnzimmer # Ihr Nest Hub
message: “Das Gerät wurde erfolgreich aktiviert.”
language: “de”

Ich gehe jetzt stark davon aus, dass es in der Tat Zufall ist und man leider, aufgrund der Erfahrung, schon vom Negativem ausgeht.

[Jim_OS]

Ich habe jetzt schon mal eine Erkenntnis gewonnen und zwar das der Browser da scheinbar eine Rolle (mit)spielen könnte.

Folgende Tests:

1. Firefox benutzt und per Google Suche wieder die gleiche Frage gestellt. Ergebnis:
   

   

2. Waterfox geschlossen und neu gestartet, nur die Google Suche aufgerufen und wieder die gleiche Frage gestellt. Ergebnis:
   

   

3. Bei Waterfox in einem weiteren Fenster auch noch zusätzlich zu der Google Suche das HA WebGUI geöffnet und mich bei HA eingeloggt. Ergebnis:
   

   

Ergo: Google scheint über den Browser auch auf andere dabei gerade geöffnete Fenster zuzugreifen und diese Daten dann zu nutzen. Auch wenn ich das nicht so wirklich glauben kann.

Der Versuch von @quosmio deutet schon irgendwie darauf hin das da der Zufall im Spiel ist, aber warum sollten mir die Google Suche dann, wenn ich über den Browser nicht bei HA eingeloggt bin, die neutrale Entitätsbezeichnung mein_nest_hub liefern und wenn ich auch noch bei HA eingeloggt bin dann eben nest_hub_wohnzimmer.

Aber ok das war jetzt nur ein kurzer und einmaliger Test und das reicht natürlich noch nicht um da wirklich Rückschlüsse ziehen zu können. Dafür braucht es noch mehr Tests und verschiedene Versuche. Im Moment muss ich mich hier aber erst einmal noch um andere Dinge kümmern.

Edit: 4. Chromium Browser nur mit der Google Suche geöffnet. Ergebnis:

VG Jim

[black.falcon87]

@Jim_OS

Vorab:

1. Ich nutze hier Waterfox als Browser und Cookies und Website-Daten werden beim beenden von Waterfox gelöscht.
2. Der Aufruf der Google Suche war der erste Aufruf nach dem starten von Waterfox.
3. Ich habe hier drei Nest Hubs bei HA eingebunden und Google Home ist auch über Nabu Casa mit HA verbunden.
4. Ich war bei dem Browser nicht irgendwie bei irgendeinem Google Dienst eingeloggt.
5. In meinem Google Konto sind alle Möglichkeiten das und was Google über mich und meine Aktivitäten speichern kann und darf, so weit wie nur möglich deaktiviert.

Ich bin da jetzt kein Fachmann, aber sicherlich identifiziert dich Google auch wenn du deinen Browser regelmäßig Cache & Cookies löschen lässt.
Spricht man da nicht von Fingerprinting? Vielleicht kommt es daher?

Was versteht man unter Browser-Fingerprinting?

Am I Unique ?

[alteMade]

@Jim_OS

Home Assistant Automation Eine Antwort an einen Nest Hub wenn über ein Script eine Entität erfolgreich aktiviert wurde

Ich habe das einmal bei Google eingeworfen und das als Ergebnis bekommen:

alias: Script mit Bestätigung
sequence:
  # 1. Ihre bisherige Aktion (z.B. Entität aktivieren)
  - action: homeassistant.turn_on
    target:
      entity_id: light.wohnzimmer

  # 2. Erfolgreiche Bestätigung an den Nest Hub
  - action: tts.google_translate_say
    target:
      entity_id: media_player.nest_hub_wohnzimmer
    data:
      message: "Das Gerät wurde erfolgreich aktiviert."

Ich habe aber gar keinen Nest_hub auch nicht im Wohnzimmer - ich habe gar keine Google Geräte im SmartHome. Wahrscheinlich hat Google einfach aus der Erfahrung heraus geschlossen, das die meisten Installationen diese entity_id haben/benutzen.

Gruß Ralf

[Jim_OS]

@quosmio

Frag doch mal Google, woher die Annahme kam?

Die Idee war gar nicht mal so schlecht.

Na dann nehmen wir der KI das mal so ab, ohne es weiter zu hinterfragen.

Edit: Auch wenn das hier

@Jim_OS

Bekanntlich bin ich - aus verschiedenen Gründen - nicht gerade ein Freund von irgendwelchen KIs

weiterhin zutrifft, muss ich zugeben das die Google KI, dank dem was sie ja quasi anhand von Infos aus dem Internet und somit eben auch von anderen Usern inzwischen so gelernt hat, schon ziemlich erstaunlich ist. Ja natürlich sollte man nicht alles was einem die KI liefert blind 1:1 übernehmen und ja m.M.n. sollte man sich dann trotzdem auch noch mit dem YAML-Code beschäftigen, um ihn möglichst auch zu verstehen und somit sein eigenes Wissen zu erweitern, aber machmal kann einem die KI auch Ergebnisse liefern auf die man selber ggf. gar nicht gekommen wäre und/oder die man selber ggf. komplizierter umgesetzt hätte.

Vielleicht auch mal zu dem Hintergrund: Ich habe hier seit Jahren ganz einfache HA Script am laufen, die mir dann - in Kombination mit meinen Nest Hubs - per Sprachein- und ausgabe irgendwelche Werte oder Zustände von Geräten unter HA liefern und/oder Geräte schalten. Ein ganz einfaches Beispiel: Ich will z.B. bei meiner Wolf Heizung die 1 x Warmwasser-Funktion einschalten. Das Script dazu sieht bisher so aus:

sequence:
  - type: turn_on
    device_id: 80000ba1f0e6d211ce20b7db02d073fa
    entity_id: 517317e73e2318e3aec17ba2accda926
    domain: switch
alias: Wolf 1 x Warmwasser
description: ""

Dann fiel mir heute ein das eine Rückmeldung zu dem Script ja nicht schlecht wäre, sprich das mir auch noch bestätigt wird ob jetzt 1 x Warmwasser eingeschaltet wurde oder nicht. Das war der ursprüngliche Grund warum ich heute morgen dann mal die Google Suche bemüht habe und dort eben einfach mal etwas mehr Text eingegegeben habe. Sprich:

Home Assistant Automation Eine Antwort an einen Nest Hub wenn über ein Script eine Entität erfolgreich aktiviert wurde

Die Google KI Ergebnisse zu dieser Suche sieht man ja oben in den Screenshots.

Dann habe ich eben die Anfrage an die KI noch um das bisherige Script erweitert und auch noch gesagt das ich zusätzlich eine Fehlerprüfung hätte. Herausgekommen ist dann dieser YAML-Code:

alias: "Nest Hub: Feedback Warmwasser mit Fehlerprüfung"
description: "Gibt eine Erfolgs- oder Fehlermeldung auf dem Nest Hub aus."
trigger:
  - platform: state
    entity_id: script.wolf_1_x_warmwasser
    from: "on"
    to: "off"
action:
  - delay: "00:00:02"
  - choose:
      - conditions:
          - condition: state
            entity_id: switch.517317e73e2318e3aec17ba2accda926
            state: "on"
        sequence:
          - action: tts.google_translate_say
            target:
              entity_id: media_player.mein_nest_hub
            data:
              message: "Das Warmwasser wurde erfolgreich aktiviert."
              language: "de"
      - conditions:
          - condition: state
            entity_id: switch.517317e73e2318e3aec17ba2accda926
            state: "off"
        sequence:
          - action: tts.google_translate_say
            target:
              entity_id: media_player.mein_nest_hub
            data:
              message: "Fehler. Das Warmwasser konnte nicht aktiviert werden."
              language: "de"

der mir auf den ersten Blick schon mal ziemlich brauchbar aussieht.

Wie gesagt sollte man sich nicht in eine Abhängigkeit von einer KI begeben - zumindest würde ich das nicht machen - aber nach einigen Jahren in HA-Foren weiß ich natürlich auch wie häufig dort Fragen zu irgendwelchen Umsetzungen gestellt werden, wo dann andere User einen evtl. passenden YAML-Code vorschlagen. Eben weil diese User sich evtl. mit YAML, Template usw. sehr gut auskennen. Ich vermute mal das so etwas dann in Zukunft immer mehr von irgendwelche KIs erledigt wird und die erwähnten User mit ihrem Wissen immer weniger zum Einsatz kommen, bzw. kommen können oder müssen. Ob das nun gut oder eher schlecht ist will und kann ich nicht beurteilen. Da mein YAML-Code-Wissen auch nicht so ausgeprägt ist, zähle ich mich selber auch nicht zu diesen Usern.

VG Jim

[maxe]

“Typische Platzhalter” … vermutlich wurde die KI mit deinem Daten trainiert

[Jim_OS]

Genau das habe ich auch schon vermutet.

BTW: Ich habe mein vorhergehendes Posting eben auch noch um ein Edit erweitert. Auch weil ich KIs bisher nie genutzt und somit davon keine Ahnung habe.

VG Jim

[jubbi]

Das ist ein typisches Beispiel für eine KI-Antwort. Solche Platzhalter mit sehr konkreten Namen begegnen mir jedesmal beim Umgang mit einer KI. Mach dir keine Sorgen - so wie du haben wohl viele Leute ihre Setups benannt. Deshalb hast Googles KI die Beispiele auch so gelernt.