Ok, das ist die Standardinstallation mit HA OS. Da läuft alles in Docker-Containern, außer das OS natürlich.
Es ist an für sich nicht vorgesehen bis auf den Host zu gehen, aber möglich: Debugging the Home Assistant Operating System | Home Assistant Developer Docs
Ich denke aber nicht, dass du auf dem Host irgendwas finden wirst, was du löschen kannst um freien Speicher zu generieren.
Gut, dann breche ich hier mal ab und beschäftige mich mit der Migration auf ein anderes (größeres) Speichermedium.
Der Beitrag ist zwar schon etwas älter, aber ich aktiviere ihn vielleicht ja nochmal 
Ich habe scheinbar das selbe Problem. Ich nutze eine 500GB Festplatte und sie wird immer voller und voller. Bei einem belegten Speicherplatz von ca 43% zeigt mir das Terminal nach der eingabe von du -h -d 1 / an, dass ich insgesamt 26GB belegt habe. Davon 17GB durch die Medien. Ich habe die Medien jetzt mal gelöscht und mein NAS gemounted. Dadurch reduzierte sich der belegte Speicherplatz auf 39% und im Terminal wird mir noch 6,2GB angezeigt (ja ich merke auch, dass die Zahlen irgendwie nicht ganz passen)
Ich habe Frigate so konfiguriert, dass es bestimmte records erstellen soll. Aber das kommt einfach nicht hin. Die 17GB waren realistisch, aber ich begreife einfach nicht, warum das Terminal mir anzeigt, dass 6,2GB belegt sind, unter den Einstellungen in HA OS jedoch 238GB belegt sein sollen. Ich habe Frigate jetzt mal gestoppt und schaue ob der belegte Speicher weiter wächst.
Ich habe am letzten Sonntag mein ganzes System neu aufgesetzt und ein Backup eingespielt, weil ich bei 100% belegtem Speicher angekommen war und mir auch dort im Terminal unter 10GB angezeigt wurden. Mit 100% belegtem Speicher kann man aber nichtmal ein Backup aufspielen und nach 4 Stunden war ich dann so verzweifelt, dass ich mir nicht mehr zu helfen wusste und die Platte formatiert habe… Ich habe sorge, dass mir das wieder bevorsteht.
Hat jemand inzwischen irgendwelche Infos einfangen können, die dabei helfen können den unsichtbaren Speicherfresser zu finden?
Vielen Dank vorab!
Liebe Grüße
Timo
Moin,
lade Dir mal eins Deiner Backups auf einen PC und entpacke es mit 7ZIP, darin sind weitere Archive, diese auch auspacken, dann im Explorer, oder wie das Ding unter Windows heißt mal durch die einzelnen Verzeichnisse gehen, und schauen wo die Speicherfresser liegen.
VG
Bernd
Finde ich eine gute Idee, danke dafür!
Ich werde es mal machen und gucken ob ich was finde.
Wenn ich das richtig sehe wird bei mir (neben den Datensätzen, die schon immer geschrieben wurden) nur durch Frigate und die Backups regelmäßig Speicher verbraucht. Das Frigate Addon ist weiterhin aus und inzwischen sind wieder 45% Speicherplatz belegt…
Die Backups speicher ich sowohl auf der Festplatte des Systems, als auch auf meiner NAS. Die KI sagt, dass falsch gemountete Datenträger auch Probleme machen können. Allerdings nur insofern, dass die Backups dann auf dem System gespeichert werden. Aber ich hätte jetzt auch nicht gedacht, dass das so viel Speicherplatz belegt. Beim Neuaufsetzen des Systems waren anschließend nur 4% belegt.
Ich bin insofern weiter, dass mein Hauptverdächtiger (Frigate) scheinbar nicht schuld ist. Ich prüfe als nächstes wie von dp20eic vorgeschlagen die Backupgröße. Da bin ich allerdings auch skeptisch, weil ich nur 5 automatische und ein manuelles Backup gespeichert hab. Aber wer weiss, ich schaue es mir an.
Danach hab ich allerdings keine Idee mehr 
Nachtrag: seit meinem Post ist erneut Speicher belegt worden obwohl kein Backup erstellt wurde. Daran kann es also nicht liegen. Es wurden 6GB mehr belegt
Nachtrag 2: Glances zeigt mir folgendes an:
Moin,
Du hast zwar geschrieben, dass Du Frigate deaktiviert hast, aber Deine Kameras, hast Du vielleicht ja auch noch über ONVIF, oder einer anderen Integration eingebunden und diese schreib weiter Bilder, Videos auf die Platte?
Es ist vielleicht besser nicht das von Glances zu zeigen, denn das ist nichtssagend, welche Prozesse laufen denn?
VG
Bernd
Hi Bernd,
Ich habe nachgeguckt und tatsächlich war bei den Kameras in der Reolinkintegration „Aufzeichnen“ aktiviert. Ich war schon total euphorisch in der Hoffnung, dass das die Ursache sei. Leider fällt die Zahl des freien Speicherplatzes weiter, obwohl ich die Aufnahmen alle deaktiviert habe…
Einen vollständigen Screenshot von Glances lade ich später hoch.
Mich setzt das total unter Druck, dass der freie Speicher immer kleiner wird… ich vermute aber wenn ich ein aktuelles Backup aufspiele ist der Speicherplatz wieder frei.
Hier nochmal ein größeres Bild von Glances:
Ich habe inzwischen die Kameras in Reolink deaktiviert, Frigate ist ja schon lange gestoppt, die NAS Einbindung gelöscht und die Automatischen Backups gestoppt. Leider hat das alles keinen Einfluss auf mein Problem genommen und es wird weiterhin Festplattenspeicher verbraucht. Nach aktuellen Beobachtungen jede Minute 100 bis 200 mb. Also wird vermutlich irgendetwas dauerhaft etwas auf die Platte schreiben. Die Frage ist nur was >.<
by HarryP: Zusammenführung Doppelpost (bei Änderungen oder hinzufügen von Inhalten bitte die „Bearbeitungsfunktion“ anstatt „Antworten“ zu nutzen)
Moin,
Erst einmal, mach mal das was da steht
Welche Integrationen hast Du so installiert, hast Du am Recorder, etwas verändert, also die Aufbewahrungszeit verändert?
VG
Bernd
Ich habe mich jetzt 3 Stunden mit Perplexity unterhalten, meinem neuen besten Freund ^^
Perplexity wies darauf hin, dass der Schreibprozess bei nvme0n1p8 unnormal hoch ist. Das könnte ein Addon sein, dass in einer Dauerschleife hängt und logs schreibt. Ich sollte alle Addons aus machen und das beobachten. Es hat sich jedoch nichts geändert. Mit der Info sagte Perplexity mir dann, dass es ein bekannter Fehler wäre bei Homeassistant OS 14.x und höher mit NVMe Festplatten. Es würden mehrere Berichte dazu im Netz stehen, dass Homeassistant Core unglaublich viel auf die Platte schreiben würde und auch nicht aufhören würde. Es gibt hierfür angeblich noch keine Lösung. Das Problem tritt wohl nicht bei allen, aber wenn dann bei NVMe Festplatten auf. Es gibt auch keine Hinweise bei welcher Firma es häufiger oder weniger häufig vorkommt. Die Lösungen wären wohl auf 13.2 zu downgraden und abzuwarten bis das Problem behoben ist, oder auf eine SATA-SSD umzusteigen.
Nach diesen Infos ist mir aufgefallen, dass das Problem tatsächlich mit meinem Hardwareumstieg gekommen ist. Ich habe das nur deutlich später bemerkt, nämlich dann als die 500gb voll waren. Daher habe ich das nicht direkt damit in Verbindung gebracht. Ich habe nun meine alte NVMe Festplatte eingebaut, das System da neu aufgespielt und ein Backup von heute aufgespielt. Der Schreibprozess von nvme0n1p8 ist leider immer noch genau so hoch wie zuvor, allerdings füllt sich die Festplatte jetzt seit 30 Minuten nicht weiter. Perplexity meint zwar dass der Schreibprozess auch nach dem Neuaufsetzen nicht so hoch sein dürfte, aber ich werde das jetzt mal beobachten und hoffe einfach, dass jetzt alles läuft… Falls nicht, spiele ich mit dem Gedanken mir eine SATA-SSD zu holen und einzubauen.
Liebe Grüße
Timo
Welcher Prozess denn genau?
Moin,
ich habe mir den letzten Screenshot auch noch einmal angeschaut, das ist wohl einer, der nach einem Restore gemacht wurde, dort ist nichts auffällig, das auf einen Dauerschreiblendenprozess hindeutet.
Vielleicht kann der TE ja mal Glances laufen lassen und heute noch einmal Bilder liefern.
VG
Bernd
P.S.: es wäre nett, wenn du @enigma746 noch einmal die Fundstelle benennen würdest, wo das Problem mit schreibenden Prozessen auf m.2 SSD beschreiben ist.
Der Prozess neben dem roten Ausrufezeichen.
Der Wert schwankt permanent zwischen ca 300k und 4M. Laut Perplexity sollte das kein Dauerzustand sein, ist es aber. Über Nacht wurden erneut über 20GB beschrieben. Meine Hoffnungen sind somit zerfallen und ich werde wohl eine SATA-SSD ausprobieren und hoffe wirklich, dass ich dann endlich ruhe habe…
Ich habe die Quellen um ehrlich zu sein nicht geprüft. Ich habe gerade aber mal nach konkreten Quellen gefragt und kopiere mal die Antwort hier rein:
Moin,
ich halte nicht viel von KI generierten Internetrecherchen, selbst ist der Mann
Ich habe mir den aktuellen Screenshot angeschaut, mich dünkt, dass Dein AdguardHome da viel schreibt.
Mehr erkenne ich nicht auf dem Bild, muss es mir nachher noch mal auf dem großen Monitor genauer anschauen.
VG
Bernd
Und erwartest Du jetzt, dass andere dies für Dich tun? Oder dass aufgrund von ungeprüften Angaben weiter gearbeitet wird?
@tarag Ich finde deinen Beitrag wirklich unnötig und unangebracht. Ich habe nirgendwo geschrieben, dass ich das erwarte. Ich habe die Quellen gepostet, weil dp20eic nach den Fundstellen gefragt hat. Mir hier mit deinen Fragen zu unterstellen ich möchte andere für mich arbeiten lassen und wäre zu faul mich selber mit dem Thema auseinander zu setzen ist unverschämt. Wenn du hier nichts konstruktives beitragen kannst wäre es auf jeden Fall hilfreich sich rauszuhalten statt solche provokanten Kommentare zu verfassen.
@dp20eic Wenn ich mir meine hochgeladenen Screenshots anschaue, fällt mir auf, dass ich einen vergessen habe.
Ich habe HA OS neu aufgesetzt und nur Glances installiert. Dann habe ich den besagten Prozess beobachtet und musste auch hier feststellen, dass die Schreibrate über mehrere Minuten (der Screenshot ist innerhalb der ersten Minute entstanden) immer noch im Bereich zwischen 300k und 4m schwankte. Das war für mich das Zeichen dass die KI Recht haben könnte.
KI gegenüber skeptisch zu sein halte ich für richtig, allerdings bin ich im Bereich IT nicht ausgebildet und komme hier in der Tiefe des Problems schon stark an meine Grenze, sodass ich die Infos der KI als hilfreiche Tipps annehme und dem eine Chance geben möchte 
Dennoch bin ich für weitere Ideen oder Anregungen dankbar, falls jemand mal ähnliche Probleme hatte. Ob die KI mein Problem lösen konnte werde ich dann sehen, wenn die SATA verbaut ist. Sind die Schreibraten dort ähnlich hoch und die Platte läuft auch langsam voll, bin ich wieder bei Null >.<
Also werden ungeprüfte Angaben als Quelle verwendet?
Welchen Mehrwert hat das?
Und falls es auch das nicht ist … Wozu dann diese KI Ausgaben?
Für mich ist nvme0n1p8 kein Prozess, sondern die Partition, auf der HA liegt. Jeder Prozess schreibt also auf nvme0n1p8. Das sagt damit nichts aus.
Moin,
danke, ich wollte darauf auch noch eingehen, aber habe jetzt erst Zeit, da ich noch die Sturmschäden beseitigen musste, blöd, wenn man neben einem Park wohnt und alles zu einem gepustet wird 
@enigma746
Die Werte, die man sieht, sind ja immer momentan Werte in der nächsten Sekunde kann das schon anders sein, ich sammele die Glances Daten in einer influxDB, somit kann ich das über die Zeit verfolgen, wenn ich mir, die letzten 24 Stunden, des Disk I/O anschaue, dann sieht das bei mir so aus
Ich kann mir bei Dir nur vorstellen, dass Logs anwachsen, das, was mir in allen Bildern auffällt, ist, dass AdGuard immer ein deutlichen I/O hat.
Zustände, kurz nach dem Starten sind nicht aussagekräftig, denn da werde ja noch viele Dinge ausgeführt oder starten erst noch, Automationen sind noch nicht gelaufen, usw.
Das System sollte schon ein paar Stunden genutzt worden sein.
Aber ich bleibe dabei, AdGurad und Frigate sind für mich die potenziellen Übeltäter, oder Kamera Integrationen allgemein.
Hast Du etwas am Recorder geändert, also von standardmäßigen 10 Tagen Haltezeit für die Kurzzeit-, Eventdaten auf länger?
Was man herausfinden muss, ist, wo liegen die Dateien, die für das Anwachsen verantwortlich sind, welche Dateien sind das, zu welchem Prozess gehören die.
Wenn Du Advanced ssh & Web Terminal installiert hast, dann kannst Du mal ncdu installieren.
# apk update
# apk add ncdu
Dann und das ist wichtig, genau so aufrufen
# ncdu /
dass listet Dir dann alle Verzeichnisse nach der Größe auf, mit den Pfeiltasten Hoch, Runter, kann man sich dann in der Liste bewegen und mit Enter in das Verzeichnis hineinwechseln.
Sieht dann in etwa so aus
ncdu 1.21 ~ Use the arrow keys to navigate, press ? for help
--- / --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
278.4 GiB [###########################################] /media
1.7 GiB [ ] /homeassistant
501.2 MiB [ ] /var
298.5 MiB [ ] /usr
14.7 MiB [ ] /root
5.7 MiB [ ] /package
2.5 MiB [ ] /bin
1.7 MiB [ ] /etc
1.5 MiB [ ] /lib
632.0 KiB [ ] /run
356.0 KiB [ ] /sbin
208.0 KiB [ ] /share
184.0 KiB [ ] /addon_configs
88.0 KiB [ ] /data
76.0 KiB [ ] /tmp
52.0 KiB [ ] /command
12.0 KiB [ ] /backup
12.0 KiB [ ] /home
12.0 KiB [ ] /ssl
4.0 KiB [ ] /lib64
e 4.0 KiB [ ] /srv
e 4.0 KiB [ ] /opt
e 4.0 KiB [ ] /mnt
e 4.0 KiB [ ] /addons
4.0 KiB [ ] init
0.0 B [ ] /sys
. 0.0 B [ ] /proc
0.0 B [ ] /dev
@ 0.0 B [ ] config
0.0 B [ ] .dockerenv
VG
Bernd
Stimmt, ich habe da denke ich falsche Begriffe verwendet. Was ich glaube verstanden zu haben ist, dass auf der Partition etwas draufgeschrieben wird. Die Zahl gibt an wie groß die Datenmengen sind, die in der Sekunde bzw in dem Moment geschrieben werden.
Das stimmt, ich habe hier Zeiträume von 30 bis 60 Minuten (inklusive AFK-Lücken) bloß live beobachtet. Meiner Einschätzung nach war das aussagekräftig genug. Dennoch wäre so ein Diagramm natürlich hilfreicher. Ich kann aufgrund der Skalierung schlecht erkennen, wie so in etwa dein Durchschnittswert ist. Ich vermute aber mal unter 100k?
Frigate habe ich einen ganzen Tag ausgeschaltet gehabt inklusive deaktivierung der Kameras in der Reolinkintegration. Da dürfte eigentlich nichts weiter passiert sein, was die Kameras betrifft.
Adguard habe ich ausgeschaltet, als ich alle Addons gestoppt habe. Wie gesagt, mein Zeitraum ist vielleicht nicht so lang wie es wünschenswert wäre, aber innerhalb von ca 30 Minuten hat sich das Verhalten der Zahlen an der Stelle in Glances nicht verändert. Ich hätte jetzt schon gedacht, dass die Schreibprozesse der Addons dann auch irgendwann aufhören würden.
Ich weiss nicht so ganz genau was du meinst. Wo kann ich Kurzzeit- oder Eventdaten einsehen bzwl die Haltezeit ändern?
ncdu habe ich nicht installiert, ich habe mir mit Befehlen wie du -h -d 1 / die Verzeichnisse auflisten lassen und habe auch die Unterordner mit diesem Prinzip geprüft. Dabei kam ich in der Summe in etwas auf die Zahl, die in Glances auch angegeben war. Also deutlich kleiner als 500gb.
Diese Überlegung hatte ich auch, inwiefern evtl noch Downloads im Hintergrund stattfinden usw. Allerdings dachte ich hier ebenfalls das etwa 30 Minuten ein guter Wert wären, wann sich das Schreibverhalten mal beruhigen müsste. Und da gab es ja außer Glances kein weiteren Addons oder Integrationen die ich aktiv hinzugefügt habe.
Ich möchte mich ausdrücklich für deine Ganze Mühe und deine Gedanken bedanken! Sie sind mir eine große Hilfe das ganze System besser zu verstehen. Heute schaffe ich es nicht mehr, aber ich werde deiner Vermutung nachgehen und werde die Kameras erneut komplett ausschalten und gleichzeitig auch Adguard stoppen oder evtl deinstallieren. Anschließend werde ich das System mehrere Stunden laufen lassen und werde mich dann nochmal hinsetzen und mir die Schreibvorgänge anschauen. Mit Influxdb werde ich mich scheinbar auch beschäftigen müssen, allerdings würde ich mich wohler fühlen ich könnte das in Ruhe machen und nicht wenn parallel die Platte voll läuft 
Moin,
dem Mann kann geholfen werden
Ok, wenn du nicht weißt, wovon ich rede, dann hast du da auch nichts veränder und der Standard von 10 Tage ist ok.
Nein, influxDB braucht man nicht, also nicht für HA, ich habe das nur, weil ich ganz viele andere Metriken sammele.
Ja, es ist besser, sich erst einmal auf ein Problem zu konzentrieren.
Und welches Verzeichnis ist das mit dem größten Verbrauch, bzw. welche Datei(en)?
VG
Bernd
