Probleme mit HA unter Proxmox

Hallo,

zu 1: ist mir noch nicht aufgefallen das der Wert gegen 0 geht

zu 2: ein Screenshot

zu 3: ich denke hier hatte ich einen Reboot von der VM, um über längere Zeit den Anstieg des RAM-Speichers zu sehen( nachher keine Versuche bis heute unternommen)

Moin,

Ja, ist zwar nicht 0, aber ich dachte das da vielleicht ein Prozess viel IO macht ist aber aktuell, im Screenshot ok

Bei dem hätte ich eher ein Auge drauf, da gibt es den python3 Prozess


Klick mal auf Mem dann sortierst Du nach Memory und beobachte man den Prozess.

VG
Bernd

P.S.: Das sind Momentaufnahmen, deswegen, keine Panik. Was immer Dir da in die Suppe spuckt, liegt vielleicht an der Installation, Du hast die VM mittels Helfer Skript erstellt, mit Standard, oder individual

Hallo,
also der python 3 Prozess nimmt den meisten RAM-Speicher.
Bezüglich dem Helfer Skript hat ich vermutlich individual vorgewählt.
Ist es sinnvoll von ein neue VM zuerstellen und das Backup von der aktuellen VM einzuspielen.
Hier noch mal aktuelle Screenshots


Moin,

Ohne jetzt zu wissen, was Du gemacht, nicht gemacht hast, ist da was im Argen, Du nutzt den Swap der wird zu 100 % ausgenutzt, Du nutzt aktuell ein Swap von ~ 2 GB


Bei mir wird nach eineinhalb Tagen noch 0 % angezeigt.

Ich an Deiner Stelle, würde mal wirklich eine neue VM erstellen, dann aber nicht das Backup einspielen, denn darin kann sich ja der Pferdefuß auch verstecken und Du gewinnst dadurch keine neuen Erkenntnisse.
Dann das Nötigste in der neuen VM einrichten, dann die Integrität, die auch gut und gern parallel laufen einrichten, als Nächstes ein Add-on, nach dem anderen, und beobachten.

Frage, was machst Du mit Samba?


Bindest Du Verzeichnisse aus HA in andere PCs ein?

VG
Bernd

Hallo,
will mich noch mal gezüglich meines Problems melden.
Habe diverse Versuche bezüglich meines RAM-Problems getestet.
Um eine komplette Neuinstallation werde ich nicht herumkommen.
Da mein NUC i5 durch die hohe Auslastung ein lautes Lüftergeräuch
hat, habe ich mich für eine neue Lüfterlosen PC entschieden.
Ist bestellt, mal abwarten wann das Teil kommt, dann gehts los.

https://www.amazon.de/gp/product/B0C8J2RT96/ref=ppx_od_dt_b_asin_title_s00?ie=UTF8&psc=1

Ich möche auch wieder mit Proxmox und dann die VM HAOS installieren.

Ist es sinnvoll dann z.B. MQTT, Zigbee2Mqtt, MariaDB, …
in einem eigenen LXC laufen zulassen.
Bei Raspberrymatic habe das schon immmer so und hat auch noch
nie Probleme gemacht.

Das Problem sehe ich nur bei der Datenbank.
Wichtig währe für mich eigendlich das “Langzeitarchiv” vom Energiedachboard.
Vermutlich würde die Standart-Datenbank auch ausreichen.
Man könnte ja influxDB als LXC hinzufügen.

Gruß Clemens

PS: Da ich schon einmal den Versuch mit einer neuen VM gemacht habe,
und die die Zigbee-Geräte mit der…

/etc/zigbee2mqtt/configuration.yaml
/var/lib/zigbee2mqtt/
    database.db
    database.db.backup
    state.json

kopiert hatte, und in der VM der Speicher auf voll lief,

würde ich dieses mal alle Geräte neu anlernen.

Dashbords würde ich lassen/kopieren und ggf. Entitäten anpassen.

Moin,

Ich möchte Dich nicht ärgern, oder frustrieren, aber wenn ich mir das Teil bei Amazon anschaue und das dann bei Ali, ist da für ein Barebone schon eine ganz schöne Preisdifferenz ~240 € zu 186 € :thinking:

Meiner bescheidenden Meinung nach, ja, aber ich bin ja nicht der Maßstab :slight_smile:

Da muss man differenzieren, die MariaDB, ersetzt die Lokale SQLite Datenbank, sollte aber auch kein Hexenwerk sein das hinzubekommen, wenn man aber MariaDB nur für HA nutzt, dann macht das für mich keinen so großen Mehrwert, dafür ein LX Container zu spendieren.

Also ich komme damit zurecht, aber wieder ich bin nicht der Maßstab :slight_smile:

InfluxDB ersetzt die lokale SQLite Datenbank nicht, sie läuft parallel, da kann man dann die Daten natürlich auch noch einmal vorhalten und mit Grafana auswerten, so ist das auch bei mir, wobei bei mir aktuell wenig HA Dashboards in Grafana laufen.
Ich nutze in HA aktuell nur Ploty-Card im Dashboard.

VG
Bernd

Ich kann dir den Barebone von Hunsn wärmstens empfehlen. Ich habe denselben gekauft und der läuft nun seit ein paar Monaten absolut problemlos. Ich nutze das Gerät u.a. als Firewall.

Gibt es immer mal wieder beim großen Fluss für 200€, hatte ihn mir vor ein paar Monaten auch gekauft.

Moin,

Ich habe gestern geschaut, und der TE hat geschrieben, dass er gerade bestellt hat.
Klar, ich muss auch nicht wirklich in China einkaufen und kann warten, bis der Amazonas das günstig an Land spült, aber manchmal juckt es doch schon in den Fingern, günstig einzukaufen, meine Vorvorvorfahren waren halt Schwaben :slight_smile:

VG
Bernd

Ja, ich bin kein Schwabe aber auch meinem Geld nicht böse. Deshalb immer mal schauen und “günstig” bestellen.

Hallo,
will mich noch mal gezüglich meines neuen PC`s melden.

Habe ihn für 204 € gekauft.
Da er in ein bis zwei Wochen geliefert werden soll,
habe ich jedoch auf meinem NUC schon mal eine neue VM erstellt
und mit der Neuinstallation begonnen.

Alle Integrationen, Addon, Helpers, xxx.yaml installier oder kopiere ich,
kontrolliere den RAM-Speicherverlauf, Step by Step.

Zwischendurch mache ich immer mal ein Backup,
um bei einem Problemvon einem noch “funktionierendem System”
ggf. wieder weiter zu machen.

Zum Schluß wollte ich dann die Datenbank erstellen und anschießend alle Zigbee-Geräte neu anlernen.

Mein Problem ist im Moment die Datenbank von MariaDB.
Ich wollte die MariaDB auf die StandartDB migrieren, nach Anleitung
von simon42,

Jedoch scheitern bei mir alle Versuche, die Migration wird gestartet,
nach dem siebten Block Abbruch, …

Hat jemand noch eine Idee wie man die Daten ggf. kopieren kann,
in welchem Verzeichnis stehen diese?

Oder an legt in Proxmox eine LCX von Maria DB an,
aber wie bekommt man die Daten dahin?

Im Moment währen für mich eigendlich nur die Langzeitdaten vom Energiedashboard interessant.

Die Standartdatenbank währe auch ausreichend.

Irdendwie stehe ich hier auf den “Schlauch”.

Grüße Clemens

Moin,

Gut das wir jetzt ein Video haben, nur leider hilf das nicht, denn Du hast ja nur den ominösen Teil Nummer 7 erwähnt, ich habe aber keine Lust mir Videos anzuschauen, um dann zu fragen, was genau hast Du gemacht.
Ich habe die zweite Nacht nicht geschlafen, somit habe ich heute keine Lust mehr mich um das Thema zu kümmern, wenn es also Zeit hat, bis Morgen Mittag, dann schreib mal genau auf was Du wie gemacht hast, dann schauen wir morgen zusammen drauf.

Speicherplatzmangel?

VG
Bernd

Tut mir leid, ich will ja nicht nerfen.

Die SSH Verbindung wird über Putty aufgebaut.
Im Projekt darf die Datei der SQlite nicht vorhanden sein.
Bei den ersten Versuchen wurde nach ca. 20 Minuten ein Popup-Fenster
eingeblendert, das keine Verbindung zu Putty besteht.
Jetzt verhält sich die das Fehler bild etwas anders. (siehe Screenshot)

Hatte auch schon den Versuch mit einer “Leeren VM” nur mit MariaDB
gemacht, hatte den Gleichen Fehler.

Mache dir nur kein Stress Bernd, wenn das halt mit deM Langzeitarchiv nicht klappt, dann ist es eben so.

2024-05-31 21_20_39-

Danke für eure Bemühungen

Gruß Clemens

Moin,

Hierfür hätte ich zwei Erklärungen,

  1. Putty Keep Alive ist zu klein eingestellt, nicht eingerichtet
  2. nach besagter Zeit hat sich HA aufgehängt, da kein Speicher (Memory) mehr vorhanden ist

Keine Bilder von Text, Text gehört in Code Tags </> :wink:

Auch hier Killed wurde der Prozess der Migration, abgebrochen, weil ich vermute, dass Dir das Memory ausging.

Wenn Du eine zweite Putty Session aufmachst und das ausführst,

➜  ~ watch free
➜  ~ 

Dann siehst du das Memory und kannst sehen, ob das beim Ablauf der Migration gegen 0 geht.

Every 2.0s: free                                                                                                                                                                                                                                                                       a0d7b954-ssh: Sat Jun  1 10:39:03 2024

               total        used        free      shared  buff/cache   available
Mem:         7937084     1549084     3274176        4312     3214640     6388000
Swap:        2620960      316664     2304296

VG
Bernd

P.S.: Wie ist denn die Konfiguration der VM unter Proxmox?

So habe gerade noch mal ein Versuch unternommen.
Folgende Vorgehensweise:

  • von meinem laufenden System ein Record:purge ausgeführt
  • Backup von MariaDB
  • in einer TestVM den RAM von 4 auf 8 GB erhöht
  • in der TestVM die SQLite gelöscht
  • Restore des Backups
  • Neustart der TestVM

Putty Keep Alive auf 0 → also ausgeschaltet
grafik

Starten der Migration → Gleiches Problem → Memory von 8GB wird fast komplett genutzt → hier noch ein paar Screenshots

:crayon:by HarryP: Zusammenführung Doppelpost (bitte “bearbeiten” Funktion nutzen)

Moin,

Da sollte eher so was von 30 Sekunden oder 1 Minute stehen, dass beim Nichtstun nicht aus Versehen die Verbindung unterbrochen wird.

Das reicht wohl noch nicht, gerade wenn Du viele Daten hast, es bricht ja immer bei den states ab.
Ich habe im Netz einiges gefunden, die das bestätigen und das die ihrer VM so um die 32 GB verabreicht haben.
Das Tool mysql2sqlite braucht da wohl einiges an Ressourcen.

Wenn Du den Speicher hast, vergrößer ihn, wenn nicht, stoppe alle LXC, VMs, die DU nicht brauchst.

VG
Bernd

VM von Raspberrymatic gestoppt,
und meinen kompletten RAM 16GB der VM zugewiesen.
Die Migration gestartet, nun geht es bei der Migration weiter.

Jedoch am Ende immer noch ein Fehler.
Die SQLite ist aber mit einer Größe von 5GB erstellt worden.

Habe die Datei in meine “normale” VM kopiert und den Aufruf der MariaDB in
der Configuration.yaml auskommentiert.
Neustart vom System.
Meine Daten von der SQLite sind vorhanden.
Das Energiedashboard hat auch eine Daten.

Ich lasse das System jetzt so laufen, denke das funktioniert erst mal so.

Danke dir Bernd

Moin,

Der Fehler, der da gemeldet wird, ist, dass die Platte voll ist
grafik

Du solltest einmal über Deine Ressourcen schauen und schauen, dass Du regelmäßig die Datenbank aufräumst.

VG
Bernd