Home-assistant_v2.db.corrupt Ständig sind meine historischen Daten weg

Meine historischen Daten werden ständig, also ungefähr 1x pro Monat in eine home-assistant_v2.db.corrupt.-Datei verschoben und ich kann nicht mehr auf sie zugreifen. Das nervt. Ich hatte schon die günstige Intenso SSD in Verdacht und habe gegen eine von Western Digital getauscht, aber heute ereilte mich wieder er kompletter Verlust der Datenbank trotz neuer SSD. Von MariaDB wurde ja immer gesagt das es weniger Datenverlust gäbe, aber nun soll man ja offiziell bei SQLite bleiben. (Simon ist ja auch von MariaDB zurück migriert.)
Woran mag es liegen das die Datenbank ständig korrupt wird?
Was kann ich machen um das zu verhindern?
Wie komme ich wieder an die historischen Daten?
Gruß Dirk

Warum “soll” man das?

Warum genau weiß ich auch nicht, aber Simon hatte sinngemäß gesagt, dass MariaDB keinen Performance oder sonst einen Vorteil zu SQLite haben soll und da solle man lieber bei der Standard-Datenbank bleiben. (Quelle: https://youtu.be/zWFw_VZT9v0 ) Und ich hatte gelesen, dass die Entwickler davon abraten würden. ( Quelle: Hörensagen)

Natürlich ist das, wie vieles eine Glaubensfrage, aber grundsätzlich gilt:

Jedes Add-On bzw. jede HACS-Integration die man durch ein HA-Standard-Tool ersetzen kann spart Performance und ist eine Fehlerquelle weniger!

Wusste gar nicht das @simon42 der Deutsche Pressesprecher von Home Assistant ist.

Wie sieht dein Setup den genau aus?
Mein Setup besteht aus mehr als einer SSD.

Probiere doch Maria wen bei die SQLite immer Probleme macht, vielleicht läuft es bei dir besser.
Ich habe seit Anfang an die Standard Datenbank und die ist bei mir schon von RaspberryPI4 über eine VM auf meinem SynologyNAS zu jetzt auf meine VM auf einem Proxmox Host mitgekommen.

LG
Tobi

Du könntest Dich mal an einem .recover versuchen. Lies z.B. mal hier:

Oder such per Google mal nach z.B. SQLite recover.

Was die Ursache für die regelmäßig defekt DB ist ist natürlich schwierig(er) festzustellen. Die SSD wäre sicherlich auch meine erste Vermutung. Anhand Deines Nics hier vermute ich das Du eine Fujitsu Futro Kiste ein Einsatz hast. :slightly_smiling_face: Hast Du da mal im BIOS geschaut ob es ggf. irgendwelche Einstellungen geben könnte die das schreiben auf die SSD irgendwie beeinflussen könnten? Z.B. was das Thema Performance, oder auch irgendeinen Energiespar-Modus betrifft. Defekte Datenbanken können z.B. auch ganz gerne das Ergebnis davon sein wenn plötzlich - wären in die DB geschrieben wird - das Gerät abgeschaltet wird und/oder z.B. der Strom ausfällt.

Ansonsten fällt mir im Moment auch kein weiterer möglicher Verursacher für Dein Problem ein.

BTW: Wie groß ist Deine DB überhaupt und was fällt da an Daten an?

VG Jim

Erstmal Danke für die vielen Kommentare.

Hab ich auch nicht behauptet. :wink: Die Aussage, dass die Entwickler davon während einer Release-Party abgeraten hätten habe ich als Kommentar unter einem anderen Video gelesen aber nicht verifiziert.
Mein Setup sieht so aus:
Fujitsu Futro 740 mit 8GB Ram und 120GB WD-Green SATA M2 SSD. Daran angeschlossen ein Sonoff Dongle-E für Zigbee, ein Z-Wave Adapter beides über USB und eine Intel m2 Wlan-Karte für Bluetooth. Home Assistant läuft “bare metal” also direkt ohne Proxmos oder VM.
Wegen irgendwelcher Energiespar-Modi muss ich mal schauen gibt es da verdächtige Einträge auf die ich achten müsste? Das Teil läuft 24/7 und logt bzw. Steuert meine Thermometer, die Wärmepumpe, die Wechselrichter dutzende Zigbee-Geräte, Shellys etc.
Die alte Datenbank war ca 2,25GB groß.

1 „Gefällt mir“

Aus diesem Grund bin ich auf MariaDB gewechselt, ich hatte ebenfalls ständig eine defekte Datenbank. Seit dem Wechsel habe ich keine Probleme. Auch die Langzeitdaten laden ohne Probleme.
Ja, manchmal dauert das laden von alten Datensätzen etwas länger, aber das nehme ich in Kauf.

1 „Gefällt mir“

Da hast Du m.M.n. natürlich auch zu dem Billigsten gegriffen was WD so anbietet. :laughing: Die Green sind eigentlich eher für Notebook/Laptops gedacht und nicht gerade für ein dauerhaftes beschreiben mit (Datenbank-)Daten. Ja so viele Daten sendet HA nu auch nicht und vielleicht bin ich auch voreingenommen weil ich schon immer in meinen NAS nur WD Red (Pro oder Plus) benutze, aber so ein 120GB WD Green Teil käme in keine meiner Kisten hier. :rofl: BTW: Ich hoffe das war zumindest Neuware, denn die WD Green M.2 in 120GB gibt es eigentlich nur noch als Restposten (~ € 30) oder halt gebraucht.

Was die BIOS-Einstellungen betrifft: Ich kenne das Futro BIOS nicht, sprich da musst Du selber einfach mal alle Einstellungen durchgehen. Meine Vermutung ging halt in Richtung Energiespar-Einstellungen weil wenn die Futro Kiste die M2. SSD ggf. schlafen legt, bzw. versucht schlafen zu legen während HA darauf Daten in die DB schreibt, kann das theoretisch natürlich zu einer defekten DB führen. Auch irgendwelche anderen (Controller-)Einstellungen die die M.2 SSD betreffen wären ja denkbar. Also einfach mal alle Einstellungen durchgehen die irgendwie irgendwelchen Auswirkungen auf den M.2 SSD haben könnten.

Falls Du nichts finden kannst was irgendwie die Zugriffe auf die M.2 SSD beeinflussen könnte, dann würde ich an Deiner Stelle tatsächlich die WD Green noch einmal gegen eine anderen M.2 SSD austauchen. Wie gesagt traue ich diesen Green Teilen nicht. :slightly_smiling_face:

VG JIm

Die WD Red SA500 ist tatsächlich schon auf dem Weg. Die Green hatte ich noch von einem früheren Projekt liegen, sie hat allerdings noch nicht viel getan und die SMART-Werte sind völlig in Ordnung.

Na dann drücke ich Dir mal die Daumen das das Problem mit der neuen WD Red SA500 dann hoffentlich weg ist. :slightly_smiling_face:

VG Jim

Also für die Stelle wäre ich zu haben :grin:

Auch von meiner Seite aus viel Erfolg :+1:

7 „Gefällt mir“

Update: Habe spasseshalber mal MariaDB installiert, lief soweit flüssig… Bis heute Nacht. Dann war meine Kiste nicht mehr zu erreichen… Über das CLI des Hosts war zwar noch alles zu sehen, und der Supervisor hat einige Fehler gefunden (nicht automatisch zu reparieren) aber funktioniert hat nichts mehr. Mein Dank geht dann nochmal an Simon für seine Videos, weil mich mein Samba-Backup gerettet hat. So, jetzt warte ich auf die WD RED und werde berichten ob es was gebracht hat. Im Bios habe ich übrigens keine verdächtigen Energiespar-Einstellungen gefunden.

Ich glaube ja eher, dass du ein anderes Problem hast, wenn die Kiste schon wieder abgestürzt ist. Ich drücke die Daumen, dass die Festplatte der Grund ist/war.

Die Kiste ist bislang tatsächlich NIE angestürzt (ausser heute Nacht :wink: ). Es war immer “nur” die Datenbank. Danke für die gedrückten Daumen… Gerade läuft die Wiederherstellung auf die WD Red. :upside_down_face:

Update:
So wie es aussieht, lag es dann doch nicht an der SSD. Selbst mit der mistneuen WD Red (vorher geprüft) war heute morgen um 3:12Uhr wieder eine schöne home-assistant_v2.db.corrupt.-Datei zu finden. Habe nun erneut alles neu aufgesetzt und die Red in meinen Dell 5070 (Pentium Silver, 8GB dual channel RAM) verpflanzt. Wenn es nun nicht besser wird?! Der Fujitsu ist auf meine Schreibtisch abkommandiert worden und ich schreibe diese Zeilen gerade mit Ihm.

:crayon:by HarryP: Zusammenführung Doppelpost (bitte “bearbeiten” Funktion nutzen)

Moin,

es war zumindest einen Versuch wert. :slightly_smiling_face:

D.h. auch eine kompl. Neuinstallation von HA, oder hast Du ein HA-Backup eingespielt? Falls Du ein HA-Backup eingespielt haben solltest und das Problem jetzt bei der Dell Kiste wieder auftauchen, weißt Du zumindest das irgendetwas bei Deiner HA-Install. das Problem verursacht. Was auch immer das dann ist da Du ja sowohl mit SQLite als auch MariaDB irgendwelche Probleme hattest.

VG Jim

Lasse gerade Memtest86+ über den Futro laufen. Es ist der RAM Stick.
Hat jemand eine Empfehlung für ein DDR4 SODIMM RAM Modul für den Dauerbetrieb?

https://www.mydealz.de/diskussion/16gb-ram-riegel-fur-futro-s740-2117184#reply-46690387

VG JIm

1 „Gefällt mir“

Wie groß ist denn Deine SQLite DB? Vielleicht wäre für die Daten auch Grafana mit einer InfluxDB eine Idee?

Danke für deinen Tipp. Aktuell ist die Datei 750MB groß. InfluxDB läuft bereits seit ein paar Wochen. Grafana läuft auch, aber seit Simons Video zu dem Thema hat sich soviel daran geändert, dass ich die Verbindung noch nicht hin bekommen habe.
Mein Futro schnurrt seit gestern übrigens mit neuem Crucial RAM-Riegel und neuer SSD.

Danke an euch allen für euren Input.

VG Dirk