Probleme mit der Datenback-Optimierung von MariaDB nach Core-Installation von 2024.8.0

Dann hast Du aber “nur” die Meldung geschlossen, dad DB-Update ist weiter gelaufen.
Bei mir waren es ca. 3h, dann ist die Meldung weggegangen.

Ist auch schwierig, da es m.M.n. stark von der DB-Größe und der Hardwareperformance anhängig ist.

bei mir ging der Stromverbrauch des Rechner extrem hoch, nun ist aber wieder alles im grünen Bereich, außer, dass die Größe der mariadb extrem angestiegen ist. Auch GLANCES zeigt keine CPU Belastung mehr. Somit ist das update wohl durch, ich habe das Fenster auch geschlossen, hoffe nicht, dass damit etwas abgebrochen wurde.

Kann ich denn mit dieser Übersicht nur irgendwie abschätzen wie lange er noch brauchen könnte?

Ich dachte halt mit der Prozess anzeige hinten in dem Bild jetzt also 46.264 dass er zu fast 50% fertig ist. Aber er startet irgendwie immer wieder neue Prozesse.

Ich nutze hier noch Core 2024.6.4 und habe erst Ende Juli das Juni Update installiert. Was auch immer die Entwickler da gebastelt haben, aber seit dem 26.07. verändert sich auch bei mir die Datenbankgröße nicht mehr und bleibt konstant bei 2.156,06 MB stehen. Auch das

recorder:
  purge_keep_days: 10

in der configiration.yaml hat keine Auswirkungen, sprich die DB wird weder kleiner noch größer und das obwohl Daten erfasst werden.

Hier mal das Diagram dazu:


Am 15.07. habe ich ein manuelles purge angestoßen. Bis zum 26.07. hat sich die DB-Datei dann auch entsprechend vergrößert und ab dem 26.07. ist sie dann bei 2.156,06 MB stehen geblieben. Also jetzt schon seit mehr als 14 Tagen.

D.h. diese Datenbankprobleme bestehen nicht erst seit Core 2024.7 oder 2024.8, sondern bereits seit Core 2024.6.x und scheinbar haben wir beide das gleiche Problem. Welches auch immer das genau ist.

Da es hier in dem 2024.8. Beitrag ja vermutlich auch etwas OT ist müsste man sich darüber wohl an anderer Stelle austauschen, Trotzdem wollte ich es hier erwähnen, eben weil es schon seit ein paar Wochen div. Probleme mit der DB gibt - wie man im HA-Forum und bei GitHub ja auch lesen kann - und es nicht unbedingt etwas mit Core 2024.8 zu tun haben muss.

Edit: Ich hatte zu dem seit Monaten komischen Datenbankverhalten (bei mir hier) ja auch einen extra Beitrag erstellt. Nur zu dem Zeitpunkt gab es noch nicht das Verhalten der DB das sich deren Größe jetzt seit dem 26.07. gar nicht mehr ändert. Öfter mal was Neues. :laughing:

Edit 2 @totow
Ich habe eben mal eine manuelle Bereinigung gestartet. Allerdings nur das Umpacken
Recorder_Purge
Dadurch ist die DB-Größe jetzt wieder von 2.156,06 MB auf 1.369,25MB gesunken.


Ich werde jetzt die Tage mal beobachten ob die DB jetzt wieder anwächst, oder auch bei 1.369,25MB stehen bleibt. Falls sich die Größe jetzt wieder nicht erhöhen sollte werde ich meine DB wohl killen und mit einer neuen DB anfangen, denn ich glaube nicht das ich die tatsächliche Ursache für dieses Verhalten der letzten Wochen finden werde.

VG Jim

Ist vielleicht deine Platte voll?

Wow das hat jezt lange gedauert, aber eben ist es fertig geworden :smile:

Gerade ist die SQL-Datenbank wieder auf einen “vernünftigen” Wert gefallen:


image

Evtl. wurde da im Hintergrund noch optimiert.

Also bei mir ist aktuell jetzt wo das Datenbank-Upgrad fertig ist und ich zwei mal HA neu gestartet habe, es etwas komisch, dass teilweise z. B. bei Lampen die Historie (ein-/ausschalten) leer ist.

Habe ich jetzt auch mal gemacht, bin von 1231,29MB auf 1064,28MB gekommen.
Seit dem ändert sich aber auch die Größe wieder jetzt ist es bei 1066,98MB, werde es auch weiter beobachten, habe davor auch nochmal ein Backup von der Datenbank gemacht.

LG

Dto. Ein paar MB sind jetzt bei mir auch schon hinzugekommen. :laughing:

1.369,25MB zu jetzt aktuell 1.378,48 MB

Trotzdem ist da glaube ich irgendwie/-wo der Wurm drin. Wo auch immer.

Ich werde mal das Core 2024.8.1 Update abwarten, bei dem ja lt. Ankündigung noch ein paar Datenbank-Probleme gefixt werden soll. Dann werde ich das Core-Update von jetzt 2024.6.4 auf dann 2024.8.1 machen und dann mal sehen wie sich die DB dann so verhält.

VG Jim

Ich habe die 2024.8.1 heute Morgen installiert. Aktuell ist kein autopurge bei mir aktiv. Ich stoße nur ein Remap an und HA rödelt und röderlt.
Nach 5 Stunden sehe ich, dass sich die Anzahl der DB-Zeilen in der
Tabelle states von 62 Millionen auf nur 12 Mill. reduziert hat.
Das komplette Backup reduziert sich von 9 Gb auf 1,5 Gb.

Damit lässt sich leben. :+1:

Vg Max

PS: Ich sehe gerade, dass die Daten von vor 30 Tagen gelöscht wurden.
62 Tage waren beabsichtigt. :grimacing:

Bei mir ist die SQL-Datenbank jetzt wieder auf dem Wert von vor dem Update auf 2024.8.0 zurückgegangen (aktuell läuft bei mir die 2024.8.1).

Moin,

allgemeine Informationen, ein paar GB an Daten in einer Datenbank ist nichts, sollte man sich nicht so viel Sorgen darum machen, TB sieht das dann schon anders aus :wink:

Dass sich Größen ändern ist doch ein ganz normaler Vorgang, bei einer Datenmigration, werden je nach Datenbank und Technik, neue temporäre Tabellen angelegt, oder es werden Rollback Tabellen angelegt, die die migrierten Daten aufnehmen, ginge sicherlich auch in Memory, ist aber unsicher, falls mal der Strom schwankt :wink:

VG
Bernd

Auch hat jeder von euch Sensoren welche in die Langzeitstatistik aufgenommen werden. Alle Sensoren mit der State Class measurement , total oder total_increasing werden in die Langzeitstatistik aufgenomen.

D.h. alleine diese Sensoren, sorgen dafür, das die DB täglich größer wird. :wink:
Und zwar unabhängig von der Anzahl der Tage, die Ihr für purge_keep_days definiert habt.

Den Recorder einfach so konfigurieren, das nur die wirklich benötigten Entitäten erfasst werden. Oder wenn genug Speicherplatz vorhanden ist, einfach kein Kopf machen, wenn die DB mal mal 10GB und größer wird.

Gruß
Osorkon

Gibt es irgendeine Möglichkeit, die Datenbankkonvertierung der MariaDB abzubrechen, auch wenn dann die Daten weg sind?

Das Update läuft jetzt hier seit Tagen und bricht irgendwann ab, um dann von vorn zu beginnen, aktuell schon wieder seit sieben Stunden. Offenbar erfolgt der Abbruch gegen 02:30 Uhr…

Da das so nicht weitergehen kann, würde ich in Kauf nehmen, dass ich alle gespeicherten Daten verliere und neu starte. Was müsste ich dann tun?

Moin,

Zu aller erst einmal etwas zu Deiner Installation sagen, dann gibt es @kutt der auch so ein Problem hat, etwas speziell, da seine Datenbank für ein Home Assistant sehr groß ist, seine Probleme hat er ab hier geschildert

Aber um gezielt zu helfen, brauchen wir erst einmal Informationen :wink:

VG
Bernd

Die Datenbank (MariaDB) ist auch bei mir sehr groß (47.302,86 MB) und HA läuft auf einem Raspberry Pi 4. Daran ist eine SSD angeschlossen und HA zeigt an, dass noch 190 GB frei sind

Moin,

Auch wenn mich gleich wieder einige steinigen werden, aber ich stehe auf dem Standpunkt, dass Datenbanken, nicht unbedingt auf einen RasPI gehören, wenn es dann, vielleicht auch noch nur 4 GB sind, dann wird das aus meiner Sicht schon grenzwertig, zudem wird die MariaDB, wenn sie als Add-on installiert wurde, ja auch nur mit den Standard Parametern betrieben, ob das dann mit RasPI, Home Assistant und großer Datenbank zusammenpasst :man_shrugging:

Auch ein RasPI mit SSD ist keine Rakete und nur, weil da Platz ist, heißt das ja noch nichts, sie ist trotzdem über USB angeschlossen.

Na, wenn Du dann die Posts im anderen Thread gelesen hast, dann kannst Du das ja auch so versuchen.

VG
Bernd

Hmmm, entweder bin ich blind oder sehe die “Lösung” nicht? Da steht doch nur drin, dass “auto_purge: false” eingetragen wurde (und später “auto_purge: true”) und das es nicht funktioniert.

Selbst dann, wenn ich das “auto_purge: false” eintrage, nutzt es doch nicts, weil ich keinen Neustart machen kann.

Mir würde es ja schon reichen, wenn ich die Datenbank “kille” und die dann neu - ohne Konvertierung - aufgebaut wird. MariaDB als Addon zu deinstallieren, wäre vermutlich auch nicht möglich - oder? Das habe ich jetzt nicht probiert, weil ich mir auch nicht HA komplett abschießen will.

Der Raspi hat übrigens 8 GB RAM, von denen aktuell 4,8 GB genutzt werden. MariaDB verbrät zwischen 16 und 24 % vom Prozessor …

  • Den recorder deaktivieren.
    action: recorder.disable

  • Die db löschen, in deinem Fall kannst Du auch das komplette mariaDB Add-On löschen.

  • Die recorder Zeile in der configuration.yam auskommentieren und Home Assistant Neustarten.

  • MariaDB installieren und den recorder in der configuration.yaml konfigurieren und Home Assistant Neustarten

Nun hast Du eine jungfräuliche db.

Gruß
Osorkon