Moin,
ich bin neu hier in der Community und komme gleich mit einem Problem zu euch. 
Seit dem Update auf den HA-Core 2024.7.2 läuft meine Festplatte (proxmox VM) im Sekundentakt voll bis 100%
Ich habe jetzt erstmal wieder ein downgrade auf die Version 2024.7.1 gemacht.
Hat dieses Problem noch wer, und ggf. sogar einen Hinweis woran es legen kann?
Moin,
und erst einmal ein herzliches willkommen, im Forum.
mit den wenigen Informationen, sicherlich nicht.
Also wie ist Dein System
Ich habe, alles aktuell und keine Probleme
Core 2024.7.2
Supervisor 2024.06.2
Operating System 12.4
Frontend 20240710.0
Auch sonst sind mir hier im Forum noch keine Probleme dieser Art aufgefallen, esist auch immer gut erst einmal in den offiziellen Thread zur aktuellen Version zu schauen
VG
Bernd
Moin, und danke für die Antwort.
Im offiziellen Thread hatte ich nichts in der Art gefunden, deswegen habe ich hier einfach mal nachgefragt.
Zu meinem System:
Proxmox 7.4-18
läuft auf nem Lenovo Thinkcentre M910q
32GB RAM und 256GB nVME
Die HA VM hat aktuell eine Plattengröße von 120GB zugewiesen (89% belegt) und 6GB Arbeitspeicher.
Debugging habe ich leider nicht aktiviert. Kannst du mir ggf. helfen es einzurichten?
VG Robert
Moin,
Proxmox Version 7.4 ist veraltet, aktuell ist Proxmox V 8.2.4
Wow, da ist ja dann etwas ganz schräg, ich habe nur 32 GB und die sind nur zu ~ 30 % gefüllt.
Wie lange betreibst Du HA schon,
Missverständlich ausgedrückt, wenn Debugging eingeschaltet, dann wird mehr Log geschrieben, was dann die Platte voll schreibt, also eher nicht einschalten in einem normal laufenden System.
Hast Du das ssh Add-on installiert, dann installier mal das Tool ncdu
➜ ~ apk add ncdu
fetch https://dl-cdn.alpinelinux.org/alpine/v3.20/main/x86_64/APKINDEX.tar.gz
fetch https://dl-cdn.alpinelinux.org/alpine/v3.20/community/x86_64/APKINDEX.tar.gz
(1/1) Installing ncdu (1.20-r0)
Executing busybox-1.36.1-r28.trigger
OK: 291 MiB in 240 packages
Wenn es Installiert ist dann mal folgendes eintippen
➜ ~ ncdu /
Da bekommst Du dann in etwas soetwas angezeigt
ncdu 1.20 ~ Use the arrow keys to navigate, press ? for help
--- / --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
2.7 GiB [################################] /homeassistant
497.0 MiB [##### ] /var
298.0 MiB [### ] /usr
14.4 MiB [ ] /root
7.6 MiB [ ] /lib
5.5 MiB [ ] /package
2.5 MiB [ ] /bin
2.3 MiB [ ] /etc
628.0 KiB [ ] /run
356.0 KiB [ ] /sbin
152.0 KiB [ ] /addon_configs
76.0 KiB [ ] /tmp
68.0 KiB [ ] /data
52.0 KiB [ ] /command
20.0 KiB [ ] /ssl
12.0 KiB [ ] /home
4.0 KiB [ ] /lib64
e 4.0 KiB [ ] /srv
4.0 KiB [ ] /share
e 4.0 KiB [ ] /opt
e 4.0 KiB [ ] /mnt
4.0 KiB [ ] /media
e 4.0 KiB [ ] /backup
e 4.0 KiB [ ] /addons
4.0 KiB [ ] init
0.0 B [ ] /sys
. 0.0 B [ ] /proc
0.0 B [ ] /dev
@ 0.0 B [ ] config
0.0 B [ ] .dockerenv
Mit den Cursortasten/Pfeiltasten kannst Du dann in die Verzeichnisse wechseln
ncdu 1.20 ~ Use the arrow keys to navigate, press ? for help
--- /homeassistant -------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
/..
2.6 GiB [################################] home-assistant_v2.db
67.7 MiB [ ] /custom_components
23.4 MiB [ ] /www
6.1 MiB [ ] home-assistant_v2.db-wal
5.7 MiB [ ] /.storage
2.4 MiB [ ] /image
688.0 KiB [ ] /themes
360.0 KiB [ ] /blueprints
360.0 KiB [ ] /tts
204.0 KiB [ ] home-assistant.log
116.0 KiB [ ] zigbee.db
116.0 KiB [ ] /.git
108.0 KiB [ ] home-assistant.log.1
68.0 KiB [ ] /integrations
64.0 KiB [ ] /automations
60.0 KiB [ ] /scenes
60.0 KiB [ ] /ui_lovelace_minimalist
32.0 KiB [ ] home-assistant_v2.db-shm
24.0 KiB [ ] automations.yaml
20.0 KiB [ ] /entities
20.0 KiB [ ] /customizations
16.0 KiB [ ] /assistants
16.0 KiB [ ] /glances
16.0 KiB [ ] /groups
8.0 KiB [ ] configuration.yaml
8.0 KiB [ ] watchman_report.txt
8.0 KiB [ ] ism7-parameters-Wolf.json
e 4.0 KiB [ ] /scripts
e 4.0 KiB [ ] /esphome
e 4.0 KiB [ ] /deps
e 4.0 KiB [ ] /.cloud
e 4.0 KiB [ ] /.cache
4.0 KiB [ ] was_wolfsburg_de_new.py
4.0 KiB [ ] secrets.yaml
4.0 KiB [ ] influxDB.yaml
4.0 KiB [ ] new_configuration.yaml
4.0 KiB [ ] scripts.yaml
4.0 KiB [ ] .shopping_list.json
4.0 KiB [ ] scenes.yaml
4.0 KiB [ ] .HA_VERSION
0.0 B [ ] home-assistant.log.fault
Dann schau mal, was da bei Dir den Platz belegt.
VG
Bernd
Hey Bernd,
Ich bin jetzt erstmal wieder zurück auf 2024.7.0. Damit läuft es. Danke noch mal für die Verlinkung des Threads. Da habe ich wohl was übersehen. Ich denke bei mir wird der Fehler ggf. auch aus der dort beschriebenen Richtung kommen.
Ich benutze die interne SQLite Datenbank (aktuell knapp 30GB groß).
Habe mich bis jetzt noch nicht rangetraut gewisse Entitäten etc auszuschließen. Einzige config ist dort:
recorder:
purge_keep_days: 365
da ich meine Energiedaten behalten möchte.
ggf. versucht er nach dem Update aufzuräumen?! und läuft deswegen voll?!
P.S. meinst du mit debuging unter System → Logs → HomeAssistantCore ???
Viele Grüße und Danke
Hey,
ja das die Version veraltet ist weiß ich. Ein Update steht an wenn ich eine neue größere SSD habe.
sammelst Du Langzeitdaten?
Ja ich sammle Langzeitdaten.
was hast Du noch so in HA als Add-on installiert
Adons:
ESPHome
File editor
FTP
Mosquitto broker
MQTT Explorer
Node-RED
openWakeWord
RPC Shutdown
Samba Backup
Samba share
Studio Code Server
Terminal & SSH
prunest Du die Datenbank regelmäßig?
Nein gar nicht
welches Log Level hast Du eingestellt?
wo sehe ich das 
NCDU versuche ich gleich mal und schreibe dann.
Danke
sorry 70GB Datenbank
P.S. HA läuft seit 4 Jahren
by HarryP:
. Zusammenführung Doppelpost (bitte “bearbeiten” Funktion nutzen)
. Codezeilen formatiert (bitte immer in </> einbinden)
Hallo Bernd,
ich versuche das mal zu verstehen und frage deshalb nach, weil ich gestern auch das Problem hatte, dass keine Backups mehr gemacht wurden. Hatte eine Weile nicht mehr in Proxmox geschaut, erst, als ich auf 2024.7.2 von 2024.6.x updaten wollte. Irgendwie habe ich es wohl nicht hinbekommen, dass er alte Backups löscht. Ich habe sie nun mal händisch gelöscht und auch das “Lock” nach Internetrecherche entfernt bekommen und Backups händisch erstellt.
Ich gehe mal davon aus, dass du von dem HA-Add-on redest.
Ich will mir dann aber auch mal die Speicherverteilung von Proxmox anschauen, und ich denke, das ist dann das von dir hier beschriebene “ncdu”.
Nun geb ich in der shell von Proxmox
apk add ncdu
Muss ich das unter Rechenzentrum oder pve oder welcher Shell eingeben?
Moin,
Na, wenn Du das dann auf 365 Tage eingestellt hast, aber noch nie ein Prune gemacht hast, dann hast Du wohl auch noch alle 4 Jahre in der SQLite.
Du musst jetzt wohl einen Tod sterben,
VG
Bernd
Vielen Dank.
Frage…
Wie mache ich einen Prune händisch und kann dabei etwas kaputt gehen? Bleiben denn trotzdem die letzten 365 Tage bestehen?
Ich würde natürlich vorher ein Backup in Proxmox machen.
Größere SSD kommt ja eh, allerdings wäre es trotzdem schön sie kliner zu bekommen.
macht das so Sinn???
by HarryP:
. Zusammenführung Doppelpost (bitte “bearbeiten” Funktion nutzen)
Aber…Recorder und History sind 2 verschiedene Baustellen, dein Recorder sammelt einfach jede Änderung von jeder Entität, die History im Stundentankt nur eine bestimmte Klasse bon Sensoren, da sind die Energiedaten von Hause mit dabei. Ich hatte ein ähnliches Problem mit einer 40GB DB, hab im Rekorder dann eine Whitelist angelegt von dem was ich überhaupt brauche, ich brauch zum Beispiel keine Daten wann jemand einen Lichtschalter gedrückt hat.
Kannst also die 365Tage beruhigt rausnehmen.
Hat bei mir übrigens eine Woche gebraucht bis die DB von 40GB auf 2 GB geschrumpft ist. Ich würde dann auch die Backups löschen (vorher das aktuellste full/diff runterladen), weil sind ja auch entsprechend gross. Beim Purge wächst die DB nämlich temporär.
Moin,
Ja!
Weder noch, das ist im terminal von HA einzugeben, damit man das dann im Terminal (ssh) nutzen kann.
VG
Bernd
P.S.: Bin gleich weg, und erst am Montag wieder Online.
Ich denke, dass das mein Problem sein wird wenn ich auf 2024.7.2 gehe.
Er versucht zu purgen (DB wächst temporär), aber Festplatte ist eh fast voll und dann geht nichts mehr.
Ich habe echt (auch weil wenig Kenntnisse in Sachen DB) Angst dass etwas schief läuft wenn ich die config ändere. Du sagst Energiedaten werden eh aufgezeichnet… Beinhaltet das auch die template Sensoren für meine Energieberechnungen etc???
Was meinst du mit full/diff???
Meine Backups werden immer extern auf nem NAS gesichert. Dann muss ich sie och nicht löschen, oder?
Danke dir schon mal
Moin,
Ja, aus meiner Sicht schon.
Da hast Du recht, also es sind evtl. mehrere Schritte notwendig, um da wieder ganz sauber zu werden.
Letztens habe ich hier im Forum etwas gesehen, da hat jemand seine SQLs geteilt, um die größten Tabellen in einer mariaDB zu finden, die kann man auch auf eine SQLite anwenden.
VG
Bernd
P.S.: Bin jetzt aber mal bis Montag offline
Ah ok, danke. Dann kann ich damit nicht innerhalb von Proxmox schauen, was die SSD gefüllt hat.
@dp20eic schönes WE
genau, einfach wie von @dp20eic beschrieben ncdu via SSH Addon im HA installieren, dann gleich dort starten und nachschauen.
Moin,
Das habe ich dann missverstanden, natürlich kannst Du ncdu auch unter Proxmox installieren, dann wie Du schon geschrieben hast, in der Konsole des PVE das eingeben,
# apt update
# apt install ncdu
VG
Bernd
Hallo @dp20eic
Ich habe mittlerweile herausgefunden, dass ich hunderte Leichen in meiner SQL habe. Leichen die (so glaube ich) aus einer alten Unifi Network Integration stammen. Diese Datensätze sind zum Teil riesig. Ich habe in einem englischen Forum eine Abfrage für SQLite Web gefunden, die mir die Entitäten auflistet.
Hier nur mal der obere Auszug. Nachdem ich mal in meinem HA gegengecheckt habe konnte ich herausfinden, dass viele gar nicht mehr existieren.
Da ich diese Entitäten nicht über HA finde, kann ich sie natürlich auch nicht mit dem Service löschen:
Jetzt wäre meine Frage ob ich mittels SQLite Web irgendwie die Datensätze direkt aus der DB löschen kann?!?!
Und wenn ja… weißt du oder jemand hier im Forum vielleicht wie?
Viele Grüße und danke schon mal.
Moin,
Hast Du es mal versucht?
Nur weil er die Entität in HA nicht mehr auflistet, Dir als Auswahl anzeigt, heißt das nicht, dass Du das bei Zu entfernende Entität nicht eingeben kannst, muss man dann halt Tippen oder Copy/Paste.
Ja, das kann man auch mit dem Web Tool machen.
Ja, ich könnte das, aber ich scheue mich etwas davor, es hier zu beschreiben, denn ich kenne Deinen Datenbank Skill nicht und würde Dir nur ungern zu etwas raten, das schiefgehen kann.
Ich kann Dir nur erst einmal raten, es doch über den Dienst zu versuchen.
VG
Bernd
Ich habe gerade mal den ersten großen Eintrag eingegeben und ich kann auf jeden Fall beobachten, dass meine meine Festplatte aktuell wächst. Also irgendwas tut er. mal sehen.
Meine Skills sind gleich null… Copy & Paste
Gäbe es die Möglichkeit, dass du mir zb Remote hilfst? Meine HA läuft ja eh als VM und ich kann im schlimmsten Fall ein Backup zurückspielen.
Ich habe den service für die erste Entität vor 30 min gestartet und seit 20 min ist mein HA nicht mehr erreichbar und die VM hat ordentlich Datenraten auf der SSD
Moin,
Ich hätte mit einem kleinen, bis mittleren angefangen 
Da passiert jetzt wohl genau das, was auch passiert ist, als Du die Updates gemacht hast.
Ich würde mal abwarten, ob er sich wieder fängt.
Warten wir mal ab, was da noch so kommt, dann schauen wir mal weiter.
VG
Bernd
Moin,
Nach 6 Std habe ich es abgebrochen. Die Maschine hat sich irgendwie nicht mehr gefangen. Musste dann mein Backup zurückspielen.
Ich habe ein wenig Bammel davor die DB Einstellungen vorzunehmen, dass er zb gar nicht 365 Tage recordet, da ich die Abhängigkeiten nicht ganz durchblicke.
Die Sensoren, die wirklich viele Daten generieren sind zb die Sensoren die meinen Stromzähler live auslesen. Wenn ich das richtig sehe verwende ich diese allerdings gar nicht direkt für die Energiemessung sondern Befüttern nur andere Template Sensoren.
hier zb wird der Wert in einen gerundeten Energie Template Sensor gespeist.
danach wird der Wert des Template Sensors in diesen Integralsensor (Helfer) gespeist, und erst dieser für die korrekte Berechnung als Sensor in mein Energie-Dashboard hinzugefügt.
Dadurch funktioniert meine Überschuss-Rechnung genauso wie sie soll…
Jetzt wäre die Frage ob ich die Daten der Ursprungssensoren überhaupt so lange aufbewaren muss, oder ob ich tatsächlich nur die Integralsensoren so lange aufbewaren muss?!?!
aktuell habe ich ja tatsächlich nichts wirklich in der configuration.yaml stehen.
Könnte ich ansonsten nicht für die neue Core Version das Auto-Purge abschalten?
und dann die keep-days runtersetzen und dann die Integralsensoren irgendwie davon ausschließen? Oder muss ich das andersrum machen? keep_days auf 365 Tage lassen und alles andere davon ausschließen? Ich habe tatsächlich aktuell irgendwie noch nicht wirklich das Verständnis wie ich den recorder richtig konfiguriere
Ein Frage wäre auch, ob er (sollte ich die keep_days runtersetzen) wirklich anfängt die alten Daten zu bereinigen?!?!
Fragen über Fragen…
Vielleicht kannst du mir ja Helfen oder den richtigen Denkanstoß geben
Danke und VG
Robert
