Mariadb zu groß - Aufräumen ?!

wow … fast habe ich es …
Simon42 hatte irgendwo einen User hainfuxuser angelegt. Den habe ich auch… statt admin.
Oben links wo bei dir

admin 
homeassistant

steht, steht bei mir:

hainfuxuser
HA

denke mal Problem könnte in der influxdb.yaml folgendes sein:

organization: homeassistant
bucket: homeassistant
tags:
  source: HA

oder ist das problem woanders ?
Bin schonmal froh, das ich V2 instaliert habe ud auch den Token gespeichert habe :wink:

dann heisst Deine
organization:
nicht homeassistant sondern eventuell HA
vermute ich.
bucket:
kannst Du finden unter “Load Data” unter Bucket. Welche es gibt. da muss Du die von dir angelegte wählen.

Unter “Buckets” und dann dort “Settings” kannst Du festlegen wie lange die InfluxDB Daten aufbewahren soll. Ich habe dort “forever” ausgewählt.

1 „Gefällt mir“

so nochmal neu installiert. mit admin als user und homeassisant als orga und bucket … jetzt gehts …
Vielen Dank !

1 „Gefällt mir“

Jetzt lass erst einmal Daten sammeln und dann versuchst du Grafana anzubinden :wink: oder besser die influxDB in Grafana einzubinden.

Achja…
Bitte nicht vergessen … außer für HA, solltest du dir Gedanken über eine Datensicherung oder BackUp der Datenbanken etc. machen. Denn mit dem Auslagern aus HA Core enthalten die HA Sicherungen nun nicht mehr die gespeicherten Werte!

Hab Grafana auch iwi am laufen. Nur leider ist die Bedienung erst mal ganz anders als Simon in seinem Video Langzeitdaten & Analyse in Home Assistant mit Grafana :chart_with_upwards_trend: & InfluxDB :card_file_box: geschrieben hat. Finde nicht die Möglcihkeit die “from” und “where” buttons zu nutzen.

Habe ja jetzt alles auf einem alten Laptop zu testen installiert. Morgen kommt SSD und RAM und der Nuc wird aufgebaut.

Das mit dem Backups ist klar. Hast du da Vorschläge über was sinnvolles ?

und gleich noch ne Frage… Wie stelle ich bei Proxmox fixe IPs ein ? Muss ja irgendwann mein Raspi abschalten und will die gleiche IP.

Außerdem habe ich gesehen, das es auch packages:
Zigbee2MQTT LXC
MQTT LXC
ESPHome LXC

gibt. Macht es Sinn und funktioniert es diese LXC zu nutzen statt der HA eigenen Integration ?

Also…
Du hast InfluxDB 2.x und Simon42 hat InfluxDB 1.x (vermutlich weil in HA integriert). Zumindest habe ich im Internet gefunden, dass es momentan keinen ClickyBunti Editor in Grafana für InfluxDB 2.x gibt. Ich habe das Problem so gelöst wie ich weiter oben beschrieben habe. Ich habe das “SQL-Statement” in der InfluxDB zusammen gebaut und kopiere es dann in Grafana rein.
Wenn Du damit Probleme hast oder nicht weisst was ich meine, dann melde dich nochmal.

BackUp
Ich bin da etwas altmodisch und habe mit auf dem LXC von MariaDB und InfluxDB 2 Ordner angelegt (bin und backup), habe 2 ShellSkripte und einen cronjob eingerichtet. Das eine Skript erstellt einmal am Tag ein DB-BackUp und das 2. löscht die BackUps sobald eine bestimmte Datei vorhanden ist. Diese wird erstellt, wenn ich von meinem Computer die BackUps abgeholt habe.
Auf meinen Computer habe ich jeweils ein Skript für jeden DB-LXC der sich einloggt auf den Maschinen und dann dort die BackUps von dort auf meinen Computer kopiert und dann die BackUps auf dem LXC zum Löschen frei gibt.
→ Achtung dafür muss auf den LXC genug Speicher vorhanden sein, sonst werden die BackUps nicht erstellt.
Mit Snapshots, Proxmox BackUps habe ich mich noch nicht beschäftigt.

Feste IPs.
Die habe ich in der Fritz!Box definiert. Da ja jede VM oder LXC mit einer eigenen MAC-Adresse kommt weisst die Fritz!Box die feste IP zu. Wenn jedoch bereits eine IP fest vergeben wurde, dann ist das in der Fritz!Box eine ganz blöde Angelegenheit.
Ich habe dann den Raspberry aus gemacht, die feste IP in der Fritz!Box gelöscht. Dann die Fritz!Box
erbotet, damit sie auch die feste IP-Vergabe vergisst und erst danach konnte ich die feste IP dem Neune HA zuweisen.

Zu Deinen Fragen bezüglich der anderen LXC kann ich nichts oder wenig sagen.
Soviel vielleicht zu MQTT. Ich nutze das innerhalb der HA-Installation. Ich gehe davon aus, dass man ein externes MQTT nicht an HA anbinden kann, ausser in HA wiederum MQTT zu aktivieren und dann kann ich es auch gleich in HA drin lassen. Zigbee und ESPHome verwende ich nicht. Vermute aber dass es da genauso wie bei MQTT ist. MQTT und Zigbee sind ja Wege Daten in HA zu bringen. Da macht es meiner Meinung nach keinen Sinn diese, falls das überhaupt geht, außerhalb von HA zu sammeln und bereit zu stellen.

1 „Gefällt mir“

Danke für die sehr ausführliche und Hilfreiche Antwort.
Mein Speicher wird heute erst um 22.00 von Amazon geliefert. Wird also nichts mehr heute :wink:
Werde dann heute mal aufräumen und brauchbare Filter für mariadb und influxdb bauen.
Gerne würde ich wenn alles läuft nochmal auf dich zukommen wegen der Backup scripts.
Was du mit :" Ich habe das “SQL-Statement” in der InfluxDB zusammen gebaut und kopiere es dann in Grafana rein." meinst, habe ich keine Ahnung … auch da bin ich dir sehr dankbar für weitere Hilfestellung !

Kannst Dich dann melden.

Falls Du noch etwas probieren möchtest. Gehe in die InfluxDB, dann solltest du folgendes sehen:

Dann wählst Du z.B. folgendes aus

dann klickst du auf SUBMIT und bekommst folgendes

Wenn das dem entspricht was du möchtest, dann klickst du auf “SCRIPT EDITOR” und es sieht wie folgt aus

Code markieren und kopieren…

Dann Grafana öffnen und ein Dashboard anlegen und "Add Visualization auswählen.
Dann siehst du folgendes

Dann einfach den kopierten Code einfügen. Sieht dann so aus.

Klicke einmal in das Feld “No Data” und es sieht wie folgt aus

Dann rechts konfigurieren und Speicher. Mit den Parametern wie es Dir gefällt.

Und so habe ich mir meine Auswertungen in Grafana zusammen gebaut. Ist immer der selbe Weg und halt im Internet suchen nach anderen Empfehlungen.
Aber wie eben beschrieben so komme ich zu meinem SQL-Code, den ich in Grafana brauche.
Ob Du oben dann W oder Wh oder kWh etc auswählst oder den Filter direkter wählst bleibt dann dir überlassen. Man kann auch den Filter “_measurement” gleich durch “entity_id” ersetzen. Ich folge da gerne dem DefaultSetup bis ich ein gescheites Ergebnis bekomme.
Du musst in der InfluxDB einfach mit dem “Data Explorer” etwas spielen und dann das dortige SQL kopieren.

Viel Erfolg

1 „Gefällt mir“

Hallo zusammen
Mich würde es auch sehr interessieren , ob man die DB wieder verkleinern kann . Oder etwas anderes konfigurieren . Meine ist zwar noch nicht 30GB , aber wenns weiter so geht , dauert es nicht mehr solange .
Hab HA direkt auf einem Mini PC installiert . Maria , InfluxDB und Grafana sind auch drauf .
Vielen Dank schonmal

Was hast du denn bei
purge_keep_days eingetragen?
Wenn warum hast du das dort eingetragen?
Gruß
Claudius

purge_keep_days hab ich nicht drinstehen , halt so wie es im video gemacht wurde

Is lange nutzt du die MariaDB bereits?
Ich nutze meine seit ca 4 Wochen und habe 3,5-4GB, habe aber auch nicht so viele Sensoren und Dinge zu. Speicher….
ich habe 30Tage eingestellt.
Grüße
Claudius

Ich nutze die schon länger 3-4 Monate ungefähr
Werde dann mal 30 Tage eintragen
Danke erstmal

wenn Du nichts definiert hast, dann sollte die Haltedauer 10Tage sein.
Vielleicht können Dir andere Nutzer mit längerer Nutzung, also vergleichbar mit dir, dir da eher sagen woran es liegen könnte.
Vielleicht die Anzahl der Werte, die du hast.

Möchte gern wissen, warum die Langzeitspeicherung mittels MariaDB nicht gut sein sollte?!

Weil MariaDB als relationale Datenbank ihre Stärken wo anders hat. Hier ist die InfluxDB mit ihrem Datenbank Design dafür prädestiniert und arbeitet effizienter. Verlaufswerte, Zustandsverläufe und Entwicklungswerte sinnvoll abzulegen und zu speichern ist nicht die Stärke der MariaDB oder einer relationalen Datenbank.

P.S. muss aber dazu sagen, dass ich das auch nur mehrfach gelesen habe. Ich kenne mich mit relationalen Datenbanken recht gut aus. Das InfluxDB Design ist mir dagegen irgendwie fremd. Relationale Datenbanken mit Tabellen, Abhängigkeiten untereinander und darauf aufbauende Strukturen, sind einfach für andere Datenhaushalte optimiert. :man_shrugging:

HI, anscheinend läuft jetzt ja soweit bei dir, das freut mich.

MQTT, Z2M und ESPHome würde als Addon laufen lassen.
Als LXC bekommt die Sachen zwar eingebunden, es ist aber relativ umständlich
den ZigBee Stick einzubinden.

Die Datenbanken habe ich nur aus gelagert damit die HA VM nicht so groß wird und falls mit der VM mal was so rich tig den Bach runter geht sind die Datenbanken noch da.
Ausserdem ist es schneller mit den Backups.

Ok, vielen Dank! Soweit ich das richtig vestanden habe ist aber der entscheidende Nachteil von InfluxDB, dass die Daten nicht direkt in HA visualisiert werden können sondern nur über Grafana.
Möchte die Daten aber direkt in HA visualisieren. Hierfür ist MariaDB aber auf jeden Fall besser als der integrierte Recorder von HA, oder?

1 „Gefällt mir“

Ich denke ja…
habe mir darüber aber nie Gedanken gemacht. Das EnergyDashboard wird ja auch länger als 10Tage gespeichert und wenn mich etwas anders interessiert, dann versuche ich es in Grafana.
Muss aber gestehen, dass mich eine längere Historie in den wenigsten Fällen interessiert. Ich habe meine Haltedauer in der MariaDB auf 30Tage eingestellt,

Ich habe Daten von 1,5 Jahren in MariaDB gespeichert. Die Möglichkeit direkt mal schnell einen Verlauf in HA nachgucken zu können ist schon sehr praktisch. Habe 730 Tage für den Recorder eingestellt.

Ich habe absolut keine Performance Probleme. Mein LXC Container mit MariaDB langweilt sich auch bei größeren Abfragen.

Ich sehe also keinen Grund, nicht auch längere Zeiträume in MariaDB zu speichern. Da habe ich schon ganz andere SQL Datenbanken gesehen, als dass mich diese paar HA Daten beunruhigen würden.

1 „Gefällt mir“