Datenbank gesucht für HA mit Zigbee2MQTT

Allgemein
1

Hallo,
seit nun 2 Monaten habe ich nun HA mit Zigbee2MQTT und langsam wird es echt Zeit, dass ich mich mir eine Datenbanken installieren, damit ich detallierte Langzeitdaten habe.
Schon einige Zeit schiebe ich das Thema vor mir her da ich da extrem verunsichert bin… :roll_eyes: :frowning_face:
Der Klassiker InfluxDB ist ja nun seit der Version 3 unbrauchbar zwecks Lizenzpflicht und auf einen veralteten Gaul ohne Zukunft, sprich V 1 oder V2 zu setzen und mich da nun extrem mühevoll reinzufuchsen ist ja Schwachsinn.

Für mich ist es wichtig dass ich monatelang zurück ganz genau nachverfolgen kann wann welcher Aqara Magnetartikel (Türen) genau offen und geschlossen war. Zudem nachtürlich auch noch die Temperaturen und und und…

Da ich ein NAS habe, habe ich mir überlegt dass ich die Datenbank in HA einbinde, die Datenbankdatei jedoch selber auf meinem NAS gespeichert wird, wo diese dann ruhig im Laufe der Jahre zig GB sein darf, Platz ist auf dem NAS genug da.

Damit will ich verhindern dass mein HA nicht immer mehr aufgebläht wird und meine Backups von Proxmox her und von HA aus nicht so groß und aufgebläht werden.

Ist das so machbar und überhaupt empfehlenswert auch in Hinblick auf Geschwindigkeit usw??

Ist das beste nun, ich habe überhaupt keine Ahnung in irgendeiner Programmiersprache und habe auch gar keine Zeit und keinen Nerv mich da nun ewig reinzuarbeiten.
Klar, man muss sich überall einarbeiten, aber bitte nicht ewig in irgendeiner Programmiersprache… :scream: :scream: :nauseated_face::nauseated_face:, soll also nicht so kompliziert sein, und auf jeden Fall einigermaßen zukunfssicher.

Ich will nicht in einigen Jahren irgendwie groß Probleme haben weil diese nicht mehr unterstützt wird oder was weiß ich warum und womöglich alle gesammelten Daten verlieren.

Ist das so machbar? Was für eine Datenbank/Software (Grafana? und ?) würdet ihr mir da so empfehlen, außer das lieber gleich bleiben zu lassen weil es so nicht machbar ist… :rofl: :laughing: :wink:

Ich danke Euch!!

2

Langzeitdaten (älter als 10 Tage) hast Du jetzt schon und zeigen einen stündlich gemittelten Wert an. Möchtest Du länger detaillierte Daten haben, musst du das der Recorder Integration entsprechend konfigurieren.

:open_mouth: Wirklich monatelang? Sicher, dass die gemittelten Langzeitdaten nicht ausreichen? Für Tür-/Fensterkontakte werden z.B. per Default keine Langzeitdaten gespeichert, müsste man also auch einrichten.

Meine HA Instanz speichert die Detailinformationen für 21 Tage in der Datenbank, danach werden die Daten in der DB ausgedünnt. Meine DB ist aktuell 4,5 GB groß. Das als Anhaltspunkt um DB Größe abschätzen zu können. Für mehrere Monate Detailgrad dürfte das sehr groß werden.

Wie wird die DB von dort gesichert? Das NAS als solches bietet keine ausreichende Ausfallsicherheit - nicht wenn monatelange Detailinformationen nötig sind.

Einstiegspunkte für Dein Vorhaben:

Ich denke Du musst Dir im ersten Schritt im Klaren darüber werden, wie lange Du detaillierte Informationen in deiner DB haben willst. Ob dann eine DB Lösung abseits der standardmäßigen SQLite Datenbank wirklich nötig ist kannst Du dann entscheiden. Wenn Dir z.B. die HA internen Darstellungsmöglichkeiten (History/Verlauf) ausreichen, dann brauchts auch keine externe Datenbank ala MariaDB/MySQL/PostgreSQL. Grafana, btw., ist nur ein Darrstellungswerkzeug.

3

Sorry dass ich solange nicht geantwortet habe, bin zeitlich ziemlich eingespannt.

Du hast völlig recht, das NAS bietet keine Ausfallsicherheit, egal bei welchem Raid. Ich habe alle Daten deswegen auch mehrfach gesichert.

Danke für Dein Posting. Nunja, dann scheint das Monatelange Logbuch (Magnetartikel) wohl doch zu viel zu sein. Vielleicht dann vielleicht die letzten 50 Tage was dann um die 10,7 GB sein dürfte.

Oder ich langere die Datenbank dann echt auf das NAS aus, da sind 500GB oder so absolut kein Thema.

Wenn ich mir schon nächtelang so extrem viel Mühe gebe wäre es schon gut, wenn ich die Tür-/Fensterkontakte und andere div. Daten für einen längeren Zeitraum hätte.

Die Darstellung der Tür-/Fensterkontakte finde ich echt bescheuert weil zu ungenau, das Logbuch ist mir da echt lieber weil ich da dann immer viel besser sehe wann welche Tür geöffnet wurde. Es regt mich dann immer auf, dass ich absolut keine Daten von länger als 10 Tage oder so habe.

Ebenso bei den Daten der Bewegungsmelder und der Vibrationsmelder (Tuya), die nur 10 Tage oder so zurückreichen, wobei da komischerweise trotzdem viele Daten fehlen.

Die Darstellung der Temperatur der einzelnen Sensoren und dass die Werte dann nur noch stündlich sind reichen mir völlig aus. Da ist mir jedoch aufgefallen, dass man da nur 1 Jahr zurückgehen kann. Mehr geht da nicht? Da länger zurückreichende Daten wäre nice zu have.

4

Da ginge auch mehr und bei einer entsprechenden manuellen Konfiguration ist man auch nicht auf z.B. ein Jahr beschränkt. @Jorge hat Dir dazu ja eigentlich schon alle Infos genannt, bzw. diese angesprochen. Ob es dann Sinn macht alle möglichen Daten für x Jahre zu erfassen und was dann am Ende dabei für eine DB-Größe herauskommt, kannst Du, anhand der Daten die Du erfassen willst, dann nur bei Dir selber sehen und feststellen.

VG Jim

5

Moin,

Das glaube ich Dir nicht, bitte beweisen!
Hier mal der Temperaturverlauf meines Außenthermometers, das Daten seit Ende Januar 2024 liefert, da wurde es eingebunden

grafik
grafik2747×905 439 KB

also bevor Du da weiter Zeit investierst, lies Dir bitte das durch

Statistikdaten werden nur für bestimmte Werte erstellt, wenn Du andere Werte als die Standardwerte in den Statistikdaten haben wills, dann musst Du das über die Recorder einrichten, der Link dazu steht oben.

Wenn Du aktuell die Standarddatenbank SQLite nutzt, geht das nicht, auch da wäre es gut sich vorher mal einzulesen.

Das ist dann aber ein sehr spezieller Fall, ich will Dir nicht absprechen, dass Du diese Daten brauchst, aber da bist Du eher die absolute Ausnahme und mir erschließt sich das nicht wirklich, was interessiert mich, dass das Fenster am 13.01. 2024 und 11.13:50 Uhr für 3 Minuten offen war. :thinking:
Ich möchte eigentlich nur aktuell, also jetzt wissen ob das Fenster / Tür offen steht, weil die Heizung läuft.

Logbuch ist was ganz anderes, als das was da dann in der Datenbank abgespeichert wird, das müssten die Events sein, die werden in Standard nur für 10 Tage gehalten.

das ist keine reine Hochrechnung, das hängt vom Payload ab, wie oft sich ein Sensor aktualisiert, usw.
Man sollte aber eins nicht vergessen, je größer die Datenbank wird, gerade was die Laufzeitdaten angeht, desto träger wird sie auch, denn die Routinen, müssen eine immer größere Datenmenge betrachten.

Aber ansonsten, viel Glück und Erfolg.
Bernd

6

Ich vermute @Moon7543 bezieht sich auf die von HA angebotenen Auswahlmöglichkeiten, sprich das hier.

Verlauf_Zeitraum_Auswahl
Verlauf_Zeitraum_Auswahl422×553 28.9 KB

VG Jim

7

genau…:+1:

So hat halt jeder andere Bedürfnisse!:wink:

8

Bisher habe noch gar nichts modifiziert oder eine andere Datenbank eingerichtet da das alles gar nicht so einfach ist…

9

Hier herscht ja echt ein netter Umgangston, echt genial!

10

Moin,

solltest Du Dich angegriffen gefühlt haben, war nicht meine Absicht, ich wollte nur aufzeigen, was ich ja mit meiner Grafik dann auch bewiesen habe, dass Deine Aussage falsch ist.
Wenn Du geschrieben hättest, dass es in der Auswahl, nur 1 Jahr auszuwählen ist, dann hätte ich da auch nur geschrieben, dass man das über die Datumseingabe machen kann.

VG
Bernd

1 „Gefällt mir“
11

Wegen der Aufforderung seine Behauptung zu belegen? Insbesondere, wenn andere eben andere Erfahrungen haben / anderer Auffassung sind?

Das sollte eher selbstverständlich sein …

1 „Gefällt mir“