Festplattenspeicher unter Proxmox

Installation, HW & HA-OS
1

Hallo zusammen,
irgendwie stehe ich mal wieder/immer noch mit Proxmox/Linux auf dem Kriegsfuß.

Hintergrund ist, dass seit einigen Wochen die automatischen lokalen Backups in Proxmox nicht funktionieren, weil kein Speicherplatz vorhanden ist.

Nun versuche ich immer wieder herauszufinden, wie meine 500 GB SSD aufgeteilt ist und welche VM bzw. LXC wie viel zugewiesen bekommen haben und wie viel sie davon jeweils verbrauchen und wie ich das u.U. neu verteilen kann.

RAM und CPU usw. werden in der Übersicht ja schön angezeigt, aber der Festplattenspeicher leider nicht (zumindest finde ich es nicht).

Ich vermute mal, dass Bootdisk-Größe für den zugewiesenen Speicher steht.
Bei den laufenden LXCs macht das auch Sinn.
Grafik
Aber bei meinen VMs wird da keine Auslastung angezeigt.
Grafik
Es gibt doch bestimmt eine Übersicht ähnlich der Datenträgerverwaltung von Windows, wo ich sehen kann, welche Festplatten verbaut sind und wie die auf die verschiedene VMs und LXCs “verteilt” sind (laienhaft ausgedrückt: Partitionen).
Aber ich finde sie einfach nicht.

Auch ist mir aufgefallen, dass die Backups von HA selber “nur” 900 MB betragen,
Grafik
währen ein Backup der VM über 25 GB groß ist.

Grafik
Grafik2230×154 13.7 KB

Und die Backups auf dem PBS (Tuxis) werden mit gigantischen 195 GB angezeigt.
Grafik
Grafik2224×179 17.8 KB

Irgendwas habe ich da doch vermutlich bei beiden Backups falsch konfiguriert.

Irgendwie komme ich mir wieder ziemlich dämlich vor, aber man kann/muss ja nicht alles verstehen. :wink:
Zum Glück gibt es ja hilfsbereite und qualifizierte Menschen (hier im Forum).

Ich danke euch schon mal im Voraus.

2

Auf den Knoten selber siehst du die Platten

Pic 2
Pic 21132×621 56.2 KB

und auf den Disk selber siehst du die Images der einzelnen VM’s mit ihrer Größe

Pic 1
Pic 11130×491 79.8 KB

3

Im Gegensatz zu LXC die fester Bestandteil von PVE sind. Vergibst Du den VM eine Festplattengröße, die Auslastung der Festplatte kannst ja direkt in der jeweiligen VM entnehmen.

Eine Übersicht der verwendeten Speicher in Proxmox und deren Auslastung, kannst Du doch der Datacenter Übersicht entnehmen.

Bildschirmfoto 2024-08-25 um 11.51.23
Bildschirmfoto 2024-08-25 um 11.51.231920×1055 112 KB

Gruß
Osorkon

4

Danke, das hilft schon mal mit der Übersichtlichkeit bei mir.
Mit den Begriffen Knoten usw. kann ich zwar noch nicht viel anfangen, aber ich habe zumindest die Informationen gefunden, auch wenn sie mir nicht ganz einleuchten.

grafik
grafik957×161 9.72 KB

Meine SSD mit knapp 500 GB ist vorhanden und “komplett” für Proxmox verfügbar.
Der Unterschied von local (pve) und local-lvm (pve) ist mir noch nicht klar.
grafik

Das Symbol von local lässt vermuten, dass es sehr voll ist, aber dort gibt es keine näheren Informationen zu den Disks/Volumes.
Bei local-lvm habe ich eine Übersicht bei VMDisks.
Das sind vermutlich meine VMs (100, 200, 300) und bei
CT Volumes, die LXCs (101, 102, 103, 104)

Aber zusammengezählt komme ich auf nur ca. 380 GB, also fehlen mir knapp 100 GB in der Übersicht.

In den Übersichten von local und local-lvm werden mir Auslastungen von
91,53 GB von 100,86 GB (local)
und
82,67 GB von 343,18 GB
angezeigt.
Das wären in Summe ca. 174 GB von 445 GB

Auch die Werte bekomme ich in meinem Kopf nicht plausibel zusammen mit meiner tatsächlich verbauten 500 GB 2,5-Zoll-SATA SSD (real verfügbar wohl 479 GB)

Ich meine, ich habe ja geplant noch eine M.2 in meinen OptiPlex zu verbauen, bin nur noch auf der Suche nach dem “richtigen” Angebot und “schwanke” auch noch ein wenig wie groß sie sein soll und wie groß die “Qualitätsunterschiede” der verschiedenen Hersteller sind. Geschwindigkeit ist ja in dem Fall eher zu vernachlässigen.
https://www.dell.com/support/kbdoc/de-de/000129720/optiplex-3050-unterstützung-für-pcie-m-2-ssd-festplatten
Aber es muss wohl eine PCIe SSD 2280/2242 sein.

Danach müsste ich dann wieder auf euer Wissen zurückgreifen, wie ich die in Proxmox integriere und dann auch die VMs, Backups usw. am besten über die beiden Festpatten “verteile”

Ok, du und ander vielleicht, ich sehe zwar die Zahlen (die, wie oben beschrieben für mich nicht zusammenpassen), aber mir fehlt das Verständnis, wozu die gehören.
Bedeutet das, dass local-lvm die “Reservierung” für mein HA ist?
Oder für aktive VMs oder alle VMs?
Und local ist dann Proxmox inkl. der LXCs?

Meine lokalen Backups gehen nach “local”, weil “local-lvm” ist als Ziel nicht auswählbar. Also müsste ich die Größe von “local-lvm” “verkleinern” und entsprechend bei “local” “vergrößern”?

Wie ihr seht, komme ich mit den Begrifflichkeiten schon durcheinander.

Ich würde gerne zumindest grundlegend verstehen, was ich mache (am besten ohne seitenweise Dokus lesen zu müssen :wink:)

5

Moin,

Du musst Dich leider mit LVM beschäftigen, das kann man nicht in zwei, drei Sätzen erklären, ich habe das gerade mal versucht, aber das wird ein Buch und sprengt das Forum.

Ich denke, dass Du, das ist meine persönliche Meinung, bei der Installation einen kleinen Fehler begangen hast, Du hast Proxmox mit den Standardeinstellungen installiert, es gibt aber an einem Punkt der Installation die Möglichkeit die Platte für seine Zwecke zu Partitionieren, ich habe da dann für Proxmox nur 32 GB angegeben und den Rest meiner M.2 dann für ZFS genommen, aber auch das ist schon nicht leicht zu beschreiben.

Anfang des Versuchs

Moin,

Das wird ein etwas längerer Thread, denn dazu muss man sicherlich weiter ausholen :slight_smile:

Namensgebung in Proxmox:

  • Knoten, ist ein Proxmox Server, wenn Du nur einen hast, dann ist Knoten = PVE und dieser ist gleich Rechenzentrum und PVE
  • wenn Du mehrere Server hast, dann ist jeder einzelne ein Knoten = PVE, aber das Rechenzentrum besteht dann aus den x Knoten.
    An meinem Beispiel, ich habe drei Server, PVE-10, PVE-20 und PVE-30
    grafik
    Das ist mein Rechenzentrum (Sagitarius)
    Das nennt man dann auch ein 3 Node (Knoten) Cluster.

Dann gibt es verschiedene Aufgaben, die einmal das gesamte Cluster betreffen, das wird dann im Rechenzentrum administriert, z. B. das Einrichten des Clusters, die Richtlinien für Backups im Cluster, das Einrichten der Hochverfügbarkeit = HA, …
Und dann gibt es Dinge, die betreffen nur einen einzelnen Knoten, z. B. die Systemeinstellungen für den Knoten, Updates für den Knoten, usw.

grafik
grafik812×1359 102 KB

Jetzt ist es ja so, dann in den einzelnen Servern auch die Platten verbaut sind, somit gibt es beim Knoten auch die Plattenverwaltung

grafik
grafik3195×536 174 KB

In meinem Knoten ist eine M.2 mit 512 GB verbaut, die ist so Partitioniert, dass ich folgende Partitionen habe

  • eine EFI Partition
  • eine Boot Partition
  • eine LVM Partition
  • eine ZFS Partition

EFI und Boot ist soweit klar, das braucht man um überhaupt ein Betriebssystem zu starten.
LVM ist dazu da um dynamisch Plattenplatz zu verteilen, gerade wenn mehrere physische Discs im Server verbaut sind, LVM = Logical Volume Manager.
Im LVM, gibt es

  • PV = Physical Volumes, das sind die Platten selbst.
  • LV = Logical Volumes, das sind Partitionen auf dem PV.
  • LVG = Logical Volume Groups, das sind Verzeichnisse in denen dann die Daten liegen, beim heißt die PVE
    In meinem Beispiel habe ich die Partition LVM
    grafik
    grafik3195×536 155 KB

    Der ich
    (2) 32 GB bei der Erstinstallation von Proxmox zugewiesen habe
    wobei ich dem LV
    (1) 100 % zugewiesen habe
    (3) Und ich auf dem LV noch ~ 9 GB freihabe, der Rest ist schon in Benutzung

In dieses LVG wurde dann ein

Ende des Versuchs

Ich mache hier mal Schluss, wenn Du mehr wissen willst, dann erst Lesen und dann genau eine Frage stellen, oder eine PN.

VG
Bernd

1 „Gefällt mir“
6

Danke Bernd,
das macht einige der Begrifflichkeiten schon mal etwas klarer.
Nur ZFS “noch” nicht :wink:.
Kann man dann mit ZFS mehrere LV zusammenlegen?
Den “Fehler” kann man dann wohl nicht so einfach korrigieren?
Das ist ja dann der grobe Überblick. Und da ich nur einen Knoten/Server habe, sind da drunter die Volumes.
Aber was ist dann noch der Unterschied zwischen local und local-lvm?
Denn bei mir ist local “voll”, aber bei local-lvm wohl noch genug Platz für z.B. Backups, aber da er die Backups nicht auf local-lvm speichern kann, funktioniert das nicht. Wie kann ich den freien Speicher umverteilen, dass er die Backups speichern kann?

Wenn ich dann eine M.2 kaufen würde und die physisch einbaue, würde Proxmox die vermutlich erkennen und dann könnte ich da ein ZFS draus machen?
Könntest du da eine günstige empfehlen und welche Größe würdest du für angemessen halten, wenn primär nur HA laufen soll mit Backups und den “nötigen” LXCs und vieleicht ein wenig Spielraum für ein paar Bastelprojekte, wobei ich aktuell noch kein Plan, was das sein könnte? Ich lese da von Pihole oder paperless, aber aktuell denke ich, ich würde mir da mehr Probleme ins Haus holen, als ich davon profitieren würde. Außerdem ist mein OptiPlex mit seinen CPU-Kernen ja wohl auch schon an der Grenze.
Aktuell würde ich nur gern (automatisch) ca. alle 2 Tage Backups machen lassen und davon vielleicht 5 behalten plus 1 Monatsbackup vielleicht.

7

Lokal ist im Grund ein Ordner im Filesystem, als Speicherort für Backups, Images, Templates

local-lvm ist ein Blockstorage ohne Filesystem, dort können nur Images von LXC’s und VM’s abgelegt werden

( einfach ausgedrückt, ist etwas komplizierter )

Korrekt

Dein ersten Bild zeigt nur an, wieviel Platze auf der Festplatte durch eine Filesystem belegt ist, nicht wie viel davon tatsächlich benutzt werden.

8

Ich werfe dann noch einmal LVM-Thin in den Raum :laughing: und ja das Thema Festplatten-Verwaltung/-Aufteilung/-Nutzung und (später) das Thema mouten, ist das Thema mit dem sich jemand, der vorher nur einen Standard-PC kannte, auf jeden Fall erst einmal beschäftigen sollte.

VG Jim

9

ZFS ist ein erweitertes Linux Raid System. Dafür brauchst Du mindestens 2 Platten, z.B. für ein ZFS Mirror. Mit einer Platte hast Du mit ZFS keinerlei Vorteile.
Auch ist ZFS sehr RAM Intensiv. Mindestens 8GB RAM + 1GB RAM für jedes TB Speicher werden empfohlen. Auch wird der Einsatz von ECC RAM empfohlen um korrupte Daten zu verhindern, die durch fehlerhafte RAM Speicher Sektoren entstehen können.

Hier mal wie ich finde eine gute Dokumentation zum Thema ZFS.
https://www.biteno.de/was-ist-das-zfs-dateisystem/

Und die Proxmox Doku zum Thema ZFS
https://pve.proxmox.com/wiki/ZFS_on_Linux

Gruß
Osorkon

1 „Gefällt mir“
10

Ich habe das nur mal kurz überflogen, aber zusammen mit deiner Erklärung scheint das ja für meine Anwendung und Hardware irrelevant.
Ein RAID-System habe ich nicht vor und würden meinen kleinen OptiPlex Micro wohl auch “überfordern” :wink:.

Ich habe ja nun ein wenig was verstanden, aber wie kann ich mit dem Wissen mein Problem lösen?
So wie ich das sehe, habe ich ja noch Speicherkapazität frei, nur kann ich dort wo sie liegt keine Backups drauf installieren.

11

Backups auf den gleichen Host abzulegen, ist ja erstmal keine gute Idee. :see_no_evil:
Ich würde Dir empfehlen, entweder diese auf einen Anderen Host abzulegen, z.B. ein NAS. Oder gleich einen PBS aufzusetzen auf einem separaten Host.

Ansonsten kannst ja auch eine USB. Festplatte an den Proxmox Host anschließen und dort die Backups ablegen.

Gruß
Osorkon

12

Moin,

Jede Platte, die Partitioniert ist, braucht ein Filesystem, z. B.

  • ext4
  • btrfs
  • ntfs
  • fat32
  • usw.

ZFS ist nichts anderes, nur sehr viel leistungsfähiger, umfangreicher :wink:

ZFS sollte man, wie ich finde übertrieben, nur einsetzen, wenn die Hardware auch potent genug ist und ausreichend Hauptspeicher vorhanden ist, also 4 GB Memory ist eher nicht gut, aber ab >= 16 GB, geht das schon, denn zur Verwaltung des ZFS Pools, wird Memory genutzt.

ZFS hat nichts mehr mit LVM zu tun! Dazu muss man erst einmal verstehen, was LVM eigentlich ist, wann man es einsetzt, LVM ist im UNIX Umfeld ein beliebter Standard, um in Rechenzentren Plattenspeicher mit zig Disks

grafik
grafik1920×630 86.5 KB

Zusammenzufügen, damit ein Betriebssystem nicht x Platten sieht, sondern nur ein Laufwerk, dazu wird erst ein RAID aufgebaut RAID – Wikipedia, um dann darüber ein LV zu stülpen.
Dazu werden x Platten (Physische) zusammen gefasst als RAID 1, oder als RAID 5, oder, oder, dann wird ein PV erstellt auf das dann LVs kommen, usw.

ZFS wurde aber schon so entwickelt, dass es den ganzen RAID Kram mitbringt und somit teure RAID Kontroller nicht nötig sind.
Wie man sieht, ist LVM und auch ZFS eigentlich etwas, was ins Rechenzentrum gehört, wir als Heimanwender, schöpfen meist nur ein Bruchteil der Möglichkeiten aus.

In meinem alten Proxmox Knoten, hatte ich 3 kleine SSDs mittels ZFS zu einem Laufwerk zusammen gebunden, somit hatte ich anstatt je 128 GB, halt ~350 GB.

Ja, nein, kommt darauf an, ob man sich das antun möchte, solange, die VMs und LX Container, extern gesichert werden kann man Proxmox einfach neu installieren, konfigurieren und dann die LX Container und VMs, aus dem Backup wieder erstellen.

In local werde andere Sachen gespeichert als in local-lvm, local ist nur ein Verzeichnis unter dem Betriebssystem

grafik
grafik1641×345 72.5 KB

Was hier hinnein gehört

All diese Ordner sollte man nur für den Moment nutzen, und aufräumen, wenn nicht mehr gebraucht

In local-lvm wiederum werden die Root Filesysteme der VMs und LX Container abgelegt

VM rootfs

grafik

LXC rootfs

grafik

Bei mir leer, weil ich ZFS nutze
grafik

grafik
grafik634×636 71.6 KB

Warum bei mir im PVE-10 auch Root Filesysteme aus PVE-20 und PVE-30 sind, liegt daran, dass ich ein Cluster habe und die VM und LXC spiegle.

Wie oben schon geschrieben, das Backup sollte man immer aufräumen, denn eigentlich sollte man, meiner Meinung nach, das local Backup nur nutzen, wenn man mal eben etwas an einem Container, VM machen möchte und sich nicht sicher ist, ob es klappt, wenn es nicht mehr gebraucht wird, dann wieder löschen.
Backups, die man länger braucht, sollten extern gespeichert werden.

Ja, dazu muss man die im Knoten formatieren und im Rechenzentrum dann dem Storage hinzufügen, dabei kann man dann festlegen, welcher Kontext auf dem neuen Bereich gespeichert werden kann, wobei auf ZFS und LVM und anderen es nicht möglich ist Backups abzulegen, siehe dazu
grafik

grafik
grafik693×399 67.3 KB

Beispiel

grafik
grafik818×451 73.6 KB

grafik
grafik818×451 66.2 KB

Abwarten, bis zum Black Friday, dann zuschlagen, ich komme mit ~ 500 GB sehr gut aus.

ich mache aber meine Backups auch extern bei einem Dienstleister in Holland, der für privat 150 GB kostenlos bereitstellt

Auf jeder Proxmox Server können wir mit dem Proxmox Backup Server innerhalb weniger Minuten ein komplettes Backup eines Servers erstellen. Holen Sie sich 150 Gbyte kostenlos und probieren Sie es aus
Sieht dann so aus

grafik
grafik2560×528 70.7 KB

grafik
grafik2560×668 102 KB

grafik
grafik2560×668 165 KB

Ohne genügend Linux Kenntnisse geht das nicht, da ist neu Installieren und Backups einspielen einfacher.

VG
Bernd

P.S.: sorry ist wieder viel und sicher wieder einiges dabei, was mehr verwirrt als hilft :frowning:

2 „Gefällt mir“
13

Diese Backups auf dem Host sollen nicht zur Sicherung von Hardwaredefekten dienen, sondern bei z. B. Updateproblemen (z.B. von HA).
Für Notfälle (Hardwaredefekt o.ä.) habe ich externe Backups.

Aber aufgrund von Bandbreite und Kapazität sind das weniger.

Ich lege automatische Backups von HA in der Cloud ab und habe ein PBS wie oben geschrieben.
Einen zweiten “Server” möchte ich (aktuell) nicht mehr zu Hause betreiben.
Diese Backups auf dem Host sollen nicht zur Sicherung von Hardwaredefekten dienen, sondern bei Updateproblemen (z.B. von HA)

Das hattest du mir ja damals schon vorgeschlagen und das läuft wohl auch. s.o. allerdings wird mir da ja, je nachdem wo ich schaue, folgendes angezeigt:

grafik
grafik949×347 9.47 KB

grafik
grafik1556×426 38.5 KB

Wie ich oben geschrieben habe, sind externe Backups bei einem max. Upload von 10Mbit/s eher eine Qual und deshalb möchte ich das auch nur als Notlösung etwas seltener nachts laufen lassen.
Glasfaser mit 1 Mbit/s sollte theoretisch schon seit Monaten vorhanden sein, aber die praktische Umsetzung ist noch nicht in Sicht.

Aber wie gesagt habe ich für Notfälle ein HA-Backup auf OneDrive und ein Proxmox-Backup auf Tuxis.

Ich bin aber trotzdem auf der Suche nach einer Lösung für lokale Backups (auf demselben Host), um schnell (ohne langwierigen Up- und Downloads übers Internet) z.B. Softwareprobleme rückgängig machen zu können.

Ob das nun mittels einer zusätzlichen (internen) M.2 oder per USB oder am günstigsten auf der schon vorhanden 2,5" SSD ist mir relativ egal. Je günstiger, desto lieber :wink:.

14

Wenn Du schon einen PBS im Einsatz hast, dann ist Dir vielleicht auch schon aufgefallen, dass Du mit der Verwendung des PBS viel weniger Speicher verwendet wird durch Deduplizierung. Auch weitere Vorteile wie die Wiederherstellung von einzelnen Verzeichnissen oder Dateien, Verschlüsselung, etc. Auch ist der Backup Job viel schneller.

Ich würde an Deiner Stelle eine eine PBS VM erstellen. Als PBS Storage eine externe USB Festplatte verwenden. Und das Backup per Sync Job auf den externen PBS sicheren.

Gruß
Osorkon.

15

Ist mir nicht aufgefallen, da ich bisher mit den Backups des PBS aus oben genannten Gründen (ich habe die Informationen oben eingepflegt :wave: @harryp) noch nicht gearbeitet habe (war zum Glück auch bisher nicht notwendig)

Aber dein Vorschlag klingt interessant und einigermaßen kostengünstig, aber ohne konkrete (Schritt für Schritt) Anleitung wird mich das vermutlich überfordern.

16

Hallo @Osorkon,
ich habe nun mal eine externe SSD per USB angeschlossen. Kannst du (oder jeder Andere ist auch gerne gesehen) mir bitte, am besten Schritt für Schritt, zeigen, wie ich die in Proxmox einbinde und dann darauf meine (automatischen) Backups speichere?

17

Moin,

ich suche mal alles zusammen, komme aber erst heute, später Nachmittag, dazu.

VG
Bernd

18

Danke dir schon mal.

19

Ich werfe da mal wieder etwas in den Raum. :laughing: Hast Du zufällig eine Fritzbox oder einen anderen Router mit USB-Port im Einsatz? Falls ja dort die USB Festplatte anschließen und die einfach als Netzwerkspeicher für und unter HA einrichten. Hier für eine USB HDD an einem Asus XT8 Router/Client:

HA_USB_Netzwerkspeicher
HA_USB_Netzwerkspeicher431×598 35.4 KB

Dazu ggf. noch ein einfaches Script mit Zeitplan um z.B. 1 x die Woche automatisch dort ein HA Backup zu erstellen. Z.B. so

alias: HA NAS Autobackup 1 x Woche
description: HA NAS Autobackup 1 x Woche
mode: single
triggers:
  - entity_id:
      - schedule.zeitplan_backup_montag_nacht
    to: "on"
    trigger: state
conditions: []
actions:
  - metadata: {}
    data:
      compressed: true
      location: XT8USB
      name: >-
        Vollbackup_{{ state_attr('update.home_assistant_core_update',
        'installed_version') }}_{{ now().strftime("%d-%m-%Y") }}
    action: hassio.backup_full

und schon ist das Thema ganz ohne PBS und Einbindung des LW unter Proxmox erledigt. :slightly_smiling_face:

VG Jim

20

Danke @Jim_OS, aber mir geht es ja um die Backups der Proxmox VM und LXCs.

HA Backups habe ich schon. Aber die Idee behalte ich mal im Hinterkopf, wenn es dann tatsächlich mit Glasfaser Realität wird und der neue Router (versprochen war runde F!B, aber wer weiß….) das ist und läuft.