Daten länger speichern

Hallo ihr Lieben,

Bin noch neu hier und gerade am Überlegen welche Danebank Konfiguration ich in meinem HA einrichten soll.
Möchte grundsätzlich dass einige Daten aus dem Energie Paneel unendlich lange und sicher gespeichert werden. Zusätzlich will ich auch einige Vergrauchswerte von Elektrogeräten langfristig speichern. All diese Daten kommen entweder aus Tasmota Steckern (MQTT) oder aus Geräten die über die Fibaro Integration als Entitäten eingebunden sind!

Habe mir einige Videos von Simon und die Infos in diesem Thread reingezogen :wink:
Folgende Fragen sind allerdings noch nicht zu 100% geklärt:

1.)
Kann ich grundsätzlich bei den Bordmitteln von HA bleiben?
Mir reichen die dort möglichen ansichten, allerdings habe ich das Gerücht gelesen, dass dort die Daten nur kurz gespeichert bleiben??

2.) Reicht die Installation der MariaDB um die Datgen länger zu speichern, oder was wäre da der Vorteil??

3.) Oder muss ich die InfluxDB installieren um meine Verbrauchswerte und den Ertrag meines Balkonkraftwerkes dauerhaft zu speichern??

4.) Wenn InfluxDB brauche ich dann zwingend auch Grafana für die Anzeige der Daten oder kann ich auch aus Influx die Datgen wie bisher aus den entsprechenden Entitäten anzeigen?

5.) Wenn Influx, gibt es vielleicht eine Möglichkleit Daten meines Vorgängersystems (IO-Broker) wo ich auch eine INflux hatte zu übertragen?

Ich weiß es sind viele Fragen, aber ich bin noch sehr unsicher was dieses Thema betrifft :wink:
Aus den Videos von Simon weiß ich zwar wie man vieles einrichtet, aber nicht was strategisch das Beste ist.
Vielleicht habt ihr ein paar Tipps oder Erfahrungswerte für mich…

Mir reichen die Boardmittel:

Wenn du auf die Farbe achtest siehst du den Unterschied zwischen Langzeit und Kurzzeit Daten im Graph:

Wenn es dir reicht das du bei Daten älter als 10 Tagen nur Stündliche Werte hast kannst du dir MariaDB sparen.

InfluxDB brauchst du nur wenn du die Daten über Grafana Grafisch aufarbeiten möchtest

Kannst du die Datenbank nicht einfach weiter verwenden?

LG
Tobi

Wenn Du eine mariaDB anstatt der SQLite Home Assistant db für den recorder verwenden tust. Kannst Du diese auch in Grafana als Datenquelle verwenden. InfluxDB ist nicht zwingend notwendig um Grafana nutzen zu können.

Gruß
Osorkon

@totow
Bedeutet dass die blaue Linie die Stundenwete sind und die violette Linie die 5 Min Aufzeichnung?
Ich hatte die Befürchtung, dass die Aufzeichnung meiner Balkon Photovoltaik dadurch nicht präzise genug gespeichert wird, aber das sieht in deiner Grafik durchaus brauchbar aus!

Die Daten aus der Influx will ich nicht über den IOBroker verwenden, weil ich inzwischen beschlossen habe den nicht mehr weiter zu verwenden. Hab auch inzwischen ALLES in den HA übersiedelt!

Wenn dann wäre nur eine Übertragung der Daten interessant, falls das möglich ist.
Denn ich hab dort schon ca. 6 Monate Photovoltaik Ertragswerte drinnen
um die es mit ein wenig leid tut :wink:

Zusamengefasst habe ich folgendes verstanden:

Maria DB ist nicht nötig! Inzwischen hab ich ein weiteres Video gefunden wo Simon42 auch nochmal erklärt, dass die eingebaute Datenbank inzwischen stabil läuft.

Ich will keinesfalls mit Grafana arbeiten müssen, das ist mir zu kjompliziert!!

Allerdings wäre jetzt noch die Idee nur INfluxDB zu installieren und damit OHNE Grafana zu arbeiten.
Ist das möglich?
Kann ich die gespeicherte Daten in der InfluxDB auch über die Entitäten aufrufen, oder brauch ich dafür zwingend eine andere Visualisierung??

Für deine Statistik solltest du dir entsprechende Zähler anlegen (Tag/Monat/Jahr). Das macht die Visualisierung über längere Zeiträume deutlich einfacher.

Das klingt gut!
Gibt er dazu irgendwelche Anleitungen oder Videos?
Ich hab noch nicht so viel Erfahrung mit all diesen Dingen …

1 „Gefällt mir“

Hallo @meloneA , hallo Community,

ich schließe mich @PBelcl an und möchte gerne mehr darüber erfahren. Könntest du bitte weitere Informationen bereitstellen oder uns Links geben, wo wir mehr dazu finden können?

Vielen Dank und freundliche Grüße,

Joscha

Schön dass ich hier nicht alleine bin :wink:
Mich interessieren ZWEI Dinge besonders:

1.)
Wie man solche Statistik Zähler anlegt, wie sie @meloneA beschrieben hat?
Und natürlich wie man sie in einer Auswertung auch wieder anzeigen kann
2.)
Ob es sinnvoller ist langfristige Detaildaten mit InfluxDB zu sammeln.
Das macht für mich nur Sinn, wenn man diese gesammelten Daten mit HA Bordmitteln auch wieder visualisieren kann.

Ich möchte mir ehrlich gesagt den Befassunsaufwand mit GRAFANA zur Visualisierung nicht antun, da meine Anforderungen eher einfach sind :wink:

Moin,

falls das noch nicht aufgeklärt wurde, nein,
Die Blau und Violette Linie sind zwei unterschiedliche Messwerte, die Trennung zwischen Langzeit und wie Du schreibst, 5 Min. Messung liegt hier ungefähr am grünen Pfeil.


Links vom grünen Pfeil, sind die aggregierten Werte, rechts davon die Werte in der vollen Auflösung.

Soweit mir bekannt kannst Du zwar die Daten in eine influxDB zusätzlich speichern, aber halt aus HA nicht ohne Grafana darauf zugreifen1.
Was Du machen kannst, das ist das, was @Osorkon schon geschrieben hat, Du kannst die sqlite Datenbank, gegen eine marieDB tauschen, dann arbeitet HA komplett mit dieser zusammen.

VG
Bernd

1 Das ist nur die einfache und halbe Wahrheit → InfluxDB - Home Assistant am Ende unter Querying your data in Influx sieht man wie man sich wieder Sensoren daraus bauen kann.

Moin,

  • Dazu gibt es hier im Forum schon einige Threads, einfach mal die SuFu nutzen,
  • Dann die offizielle Dokumentation schon mal befragt?

Wenn man den ganzen Umfang, den einem Grafana bietet, nicht braucht und man mit HA Boardmitteln auskommt, dann wäre vielleicht ja noch diese HACS Erweiterung etwas für Dich

VG
Bernd

Hallo zusammen,

Wenn es dir reicht das du bei Daten älter als 10 Tagen nur Stündliche Werte hast kannst du dir MariaDB sparen.

Heißt das, dass die Stündlichen Werte für immer gespeichert werden?

Gruß
Fabian

Ja, wenn sie als Langzeit Statistik erfasst werden.

Gruß
Osorkon

Ok, und InfluxDB speichert dann zusätzlich alle Änderungen (wie die 10 Tage Werte in HA) und nicht nur stündliche Durchschnittswerte?

Für die Außentemperatur z. B. sind die stündlichen Durchschnittswerte für mich ok. Für das Balkonkraftwerk usw. hätte ich schon gerne detailliertere Werte auf dauer.

Habe ich das richtig verstanden, dass genau dafür die InfluxDB gedacht ist?

:pencil2: by tarag: Beiträge zusammengeführt (Bitte bearbeiten Funktion nutzen.)

Moin,

ich möchte es verstehen, daher die Frage.

Wieso ist es wichtig zu wissen, wie viel W / kW ich am 2022-03-13T15:14:37Z produziert habe und wie viel 5 Sek. später?
Das ist doch der Charme von Aggregationen, dass ich je älter ich mit den Daten werde, umso weniger interessiert mich die Sekunde.
Wenn ich den heutigen Wert mit dem gestrigen Wert vergleiche, selbst dann ist doch der Minutenwert nicht ausschlaggebend, sondern der Tageswert, oder?

Ich zitiere hier noch mal die Dokumentation von HA

:point_up: Note

The influxdb database integration runs parallel to the Home Assistant database. It does not replace it.

Das bedeutet, wenn Du influxDB installiert hast und Du hast die Datenbank (influxDB V1) oder das Bucket (influxDB V2) auf eine Aufbewahrungsfrist auf Infinite eingestellt, dann bleiben alle Daten für immer erhalten, das wiederum bedeutet, wenn Dein Balkonkraftwerk alle 5 Sekunden Werte sendet und Du einen dieser Werte in die InfluxDB schreibst, dann kommen folgende Summen bei raus
5 sek. = 12 Werte / Minute
1 Std = 12 * 60 = 720 Werte
1 Tag = 720 * 24 = 17289 Werte
1 Jahr = 17280 * 365 = 6307200 Werte x X-Byte (Datensatzlänge)

Das ist dann die Menge nur für einen Wert, wenn dann auch noch der Bezug dazukommt, dann sind das Doppelt so viele, oder mehr, daraus ergibt sich, dann wieder

  • die Suche wird langsam, da viele Daten durchsucht werden müssen
  • Speicher, influxDB ist eine sogenannte in Memory Datenbank

Das ist eine vereinfachte Sicht und soll nur sensibilisieren, was und wofür man welche Daten wirklich braucht.

VG
Bernd

Hallo Bernd,
danke für deine Antwort. Ich will es auch verstehen. Deshalb stelle ich die Fragen. :wink:

Wenn Du sagst, dass die Datenbank zu groß wird, und man ältere Werte zusammenfassen sollte (Durchschnittswerte), wozu brauche ich dann überhaupt die influxDB? Das macht doch auch die Langzeitspeicherung in HA selbst.

Gruß
Fabian

Moin,

das ist es ja, es läuft darauf hinaus, dass das eine Glaubensfrage ist.
Ich z.B. habe nicht nur HA, sondern ich sammel’ noch alles Mögliche an Metriken,

  • Proxmox Cluster,
  • Office PC,
  • Laptop
  • FritzBox
  • Log File Analyse
  • usw.

Für die verschiedenen Metriken gibt es eigene Buckets.
Dann kann man die interne Datenbank sqlite nicht mit Grafana auswerten, das ich auch für Dashboards und Log File Aggregation nutze.

Dann ist influxDB einfach perfekt auf genau diese Art von Daten ausgerichtet.

VG
Bernd

Nach dewn vielen Infos hier habe ich heute die InfluxDB einfach mal installiert und die Datensammlung mit der Hilfe aus Simons Video aktiviert :wink:
Frei nach dem Motto “Mal sehen wofür ich die Daten noch nutzen möchte…”
Da mein HA in einer VM läuft, habe ich auch keinerlei Probleme mit Speicher oder Performance :wink:
Jetzt schau ich mal wie ich vielleicht auch ohne Grafana an die daten rankomme …
Die Videos von SImon hab ich mir schon gegeben!
Falls irgendwer Infos hat, die mir weitere Impulse geben, gerne mal her damit!

Moin,

also einiges kann ich trotz ca. 4 Monate Nutzung von HA auch noch nicht und ich muss mich da auf mein Bauchgefühl verlassen.

Und dabei sagt mir mein Bauch, dass das nicht geht, ich denke, dass es nur die eine Richtung gibt von HA ⇉ influxDB.
Möchtest Du dann irgendwelche Daten aus der influxDB haben, dann musst Du Dir eigene Sensoren basteln, schau mal in die Dokumentation, im Abschnitt SensorenInfluxDB - Home Assistant

Ich lasse mich aber gern eines Besseren belehren :slight_smile:

VG
Bernd

Du wirst schon recht haben @dp20eic.
Ich hab nur beschlossen mal die Daten zu sammeln damit nix unnötig verloren geht und dann schau ich mal.
Vielleicht reichen mir die Daten aus der SQL-Light Datenbank eh für meine Zwecke und wenn nicht, dann kann ich mir immer noch überlegen mich auf Grafana einzulassen.
Mich hat dieses Programm nur bei meinem alten Systgem regelrecht erschlagen …
Werde mir jedenfalls die Sensoren Doku ansehen, vielleicht reichen mir die eh schon, danke jedenfalls für deine Tipps!