OMV Problem mit HDD Spindown

Hey,

hoffentlich kann mir von euch jemand weiterhelfen.

Ich setze in letzter Zeit meinen neuen Home Server auf.

Hier soll unter Proxmox eine OMV Instanz mit 2 Hdds als NAS laufen.

Der Aufbau ist das beide HDDs per MD-Plugin als Mirror laufen. (Ich weiß hätte man auch mit R-Sync lösen können aber so selten wie das Nas angefahren wird wollte ich nicht zu päpstlich mit dem Stromverbrauch sein und dann können von mir aus auch beide HDDs für diesen kurzen Zeitraum angefeuert werden.)

Eingehängt ist es ganz klassisch mit EXT4 und der Sync der Platten ist auch bereits abgeschlossen.

Der Spindown für beide Platten ist auf 30 min auf den Wert 1 hinterlegt.

Nun habe ich aktuell einen Zwischenstecker vor dem Server verbaut um meinen Stromverbauch für Testzwecke zu messen.

Hier komme ich im IDLE auf 30 Watt (vor den HDDs waren es ~10 Watt - würde bei Benutzung ja auch Sinn ergeben aber aktuell fährt noch nichts die Platten Datentechnisch über den Tag an)

Also habe ich mal nachgeschaut mit

smartctl -i -n standby /dev/sdb und sdd

in meinem Fall und siehe da zurück kommt:

Power Mode is active or IDLE…
Smart Support steht auf Enabled und Available - Device has SMART capability.

Sprich die Platte kann meines Erachtens mit SMART angesprochen werden und ist auch hinterlegt aber begibt sich leider in keinen Spindown.

Habt ihr eine Idee welche Einstellung ich übersehen habe oder wie ich das gefixt bekomme?

Grüße

Edit: Habe gerade OMV mal herunter gefahren, Stromverbrauch ist unverändert. Heißt Proxmox ist wahrscheinlich der Übeltäter der mir die Platten wach hält.:boar:

Moin

Vorab: Das Proxmox VE ein Server-Betriebssystem ist, auf dem dann auch div. Server-Dienste aktiv sind und kein “Home-PC” Betriebssystem, das sich oder die HDD vielleicht auch mal schlafen legt, dürfte wohl klar sein. :slightly_smiling_face:

Was sind denn das für zwei HDD? Weil 10 Watt im Betrieb wären für eine HDD schon eher viel. Selbst für eine NAS HDD wie z.B. meine WD Red Plus hier. Die liegen im Idle bei ca. 4 Watt und im Betrieb bei ca. 6 Watt.

Was dann das Thema HDDs unter Proxmox und “HDD Standby” betrifft findest Du im Proxmox Forum dazu eigentlich einige Diskussionen. Eine ganz aktuelle wäre z.B. diese hier.
Ob Du Dich jetzt wirklich auf die Suche begeben willst ob Du bei Dir unter Proxmox irgendwelche HDD in den Standy-Mode versetzen kannst und wenn ja wie, musst Du natürlich selber wissen. :slightly_smiling_face:

VG Jim

Ja das ist mir mehr oder weniger klar, aber ich dachte da die Platten aktuell noch für Proxmox nicht wirklich existieren und nur per Passthrough komplett von OMV Betrieben werden - OMV diese dann auch managen würde, da ich eigentlich öfters gelesen habe das dies bei anderen Nutzern problemlos so funktioniert hat.:see_no_evil_monkey:

Eigentlich auch 2x WD80EFBX (WD Red Plus)

Ohje habe es gerade mal überflogen und für mich als CLI analphabet wird das mal wieder eine Herausforderung :sweat_smile:

Eigentlich hätte ich es schon gerne das die HDDs auch schlafen, ich bin extra die zusätzlichen Meter schon gegangen und habe mir mühsam eine kleine Partition der SSD fertig eingebunden und eingerichtet welche als Zwischenspeicher für häufige Anfragen dient und mir die Daten 1x Nachts dann auf die HDDs überträgt damit diese auch viel schlafen können :grimacing:

Klar existieren die für Proxmox, denn ansonsten könntest Du gar kein Passthrough machen. :wink:


Wie gesagt scheinen mir dann die 10 Watt irgendwie recht viel zu sein.

Sicherlich wird man das auch irgendwie hinbekommen, aber da ist eben viel suchen und Handarbeit angesagt. Ein einfaches "Setz da mal den Haken und dann funktioniert das" gibt es da leider nicht.

Ich kann Dir nicht sagen welche Proxmox Dienste dann Auswirkungen auf den Standby Mode einer HDD haben, weil ich mich damit noch nicht weiter beschäftigt habe. Ich kann Dir nur mal die Infos von Synology zu denen NAS liefern, was bei denen alles verhindern könnte das eine HDD in den Standy Mode geht.

Ja das ist jetzt natürlich eher Synology NAS spezifisch und längst nicht alles was da steht trifft auch auf Proxmox zu, aber man bekommt mal einen Eindruck davon welche Dienste und Dinge da alle im Spiel sein können/könnten.

VG Jim

Habe gerade was anderes gefunden das sich auch sehr realistisch anhört.

Die WD Red haben anscheinend das Problem die Spindown Zeiten mit einem sehr hohen Multiplikator zu hinterlegen, was bei mir natürlich auch im Bereich des Möglichen liegt mit eingestellten “30 Minuten”:sweat_smile:

Ich hatte in meiner Proxmox Kiste auch mal zwei 4TB WD Red Plus im NAS-Betrieb und ich meine das die auch mal in den Idle-Mode gegangen sind. :slightly_smiling_face: Aber wann, wie und warum, oder eben auch warum dann vielleicht wieder nicht: Keine Ahnung. :laughing: Wie gesagt hat mich das Thema noch nicht weiter interessiert und außerdem habe ich die HDD dann auch durch NVMe SSD ersetzt. :slightly_smiling_face:

VG Jim

Ja das schon! :joy: Ist mir klar ich meinte eher es gibt abgesehen davon keine Einbindung oder Verbindungen zu den Festplatte von proxmox.

Darüber habe ich auch sehr lange mit mir selbst gehadert und genau solche Probleme nicht zu haben aber da das NAS für die ganze Familie sein soll und ich dann schon einen gewissen Speicher Bedarf habe ist am Ende doch die Wahl auf HDDs gefallen, da der zusätzliche Kaufpreis für den gleichen Speicherplatz einfach sehr teuer geworden wäre :sweat_smile:

Ja das stimmt natürlich. Ich habe hier den Vorteil das ich noch drei Synology NAS habe - die aber nicht alle 24/7 laufen - und daher habe ich die Möglichkeit zu sichernde Daten auf unterschiedliche Ziele zu verteilen. Auf meinem Proxmox Host läuft eine NAS VM bei der eine 2TB NVMe SSD eingebunden ist und auf dieser befinden sich dann nur Media Daten, sprich Videos und Musik die immer im LAN zur Verfügung stehen sollen. Die 2TB mir reichen dafür.

Dann gibt es hier eine DS720+ mit 8 TB WD Red Plus die nicht 24/7 läuft und worauf dann zeitabhängig Daten von verschiedenen Clients als Backup gesichert werden. Da ich nicht 24/7 Zugriff auf diese Daten brauche, braucht die DS720+ auch nicht 24/7 laufen. Ein anderes NAS ist dann noch als Backup Ziel für die DS720+ vorhanden und auch das NAS muss dann nicht 24/7 laufen.

Das sind dann auch alles Dinge die sich im Laufe der Zeit so ergeben haben und natürlich habe ich im Laufe der Zeit (Jahre) auch immer mal wieder etwas verändert, wie eben die ursprünglichen WD Red Plus HDD in dem Proxmox Host durch NVMe SSD zu ersetzen.

BTW: Ich weiß zwar nicht wie Du jetzt Deine beiden 8TB WD Red Plus bei OMV eingerichtet hast und nutzt, aber denk bitte auch daran das a) RAID kein Backup ist und Du b) von den HDD dann auch noch mind. ein externes Backup erstellen solltest (musst). :wink: So etwas wird von Usern ganz gerne mal vergessen oder auch ganz ignoriert. :rofl:

PS: Auf das Thema ob ein 24/7 durchlaufen lassen für eine NAS HDD ggf. besser ist als diese immer wieder in den Standby gehen zu lassen geht ich hier erst gar nicht weiter ein. Dazu gibt es schon seit ewigen Zeiten viele ganz kontroverse Diskussionen. :slightly_smiling_face:

VG Jim

Ja das ein Raid 1 kein Backup ersetzt ist mir klar, daher auch die Anspielung da viele die mirroring option als überflüssig finden und lieber die Daten per Script in regelmäßig Abständen auf die 2. platte schreiben lassen.

Die wichtigsten Daten lasse ich auf die Cloud syncen und als externes Backup zwar immer noch im gleichen Haus/Keller (ja Schande auf mein Haupt😂) möchte ich wenn der Server steht den alten dann freien Server so programmieren das dieser keine Ahnung 1x die Woche angeht und das NAS nochmals auf eine externe Festplatte spielt und anschließend wieder aus geht.

Ja die Diskussion mit Spindown ja nein habe ich auch schon durch, daher wollte ich ja den Kompromiss das die Platte so wenig wie möglich an und aus Fahrten absolviert. Daher auch die SSD als zwischenspeicher damit ich am Tag auf in Schnitt Max 3 Fahrten komme.

Selbst bei 10 An und Aus Zyklen am Tag wäre ich bei 10 Jahren Nutzung bei 36.500.

Was laut Internet eigentlich kein Problem darstellen sollte und selbst wenn nach ~ 10 Jahren darf dann auch mal was kaputt gehen oder neuere Technik her :winking_face_with_tongue::sweat_smile:

Edit: Wenn ich dann noch zurückhaltend rechne und sage durch den Spindown spare ich mir wenigstens 10W dauerhaft im Schnitt ein, sind das bei aktuellen 30 Cent/Kwh in 10 Jahren 262,80€ sprich eine Platte ich schon wieder drin :zany_face:

Das werden sicherlich mehr werden. Bei jedem Client der mal irgendwas an Netzbefehlen in das LAN “ruft”, also z.B. “Hallo gibt es hier auch irgendwelche Samba Shares” oder was auch immer, kann schon dafür sorgen das die Platte wieder anläuft. Aber Du hast Dich ja auch schon mit dem Thema befasst und ich wollte darauf ja auch eh nicht weiter eingehen. :slightly_smiling_face:

Außerdem ist es ja auch egal. Du willst die HDD irgendwie in den Standy Mode bekommen und dann ist das eben so. Nur wie Du das dann bei Dir am Ende hinbekommst kann ich Dir leider auch nicht sagen. Auch für mich ist und war es schon immer ein Thema was hier mein ganzes IT-Geraffel so an Strom verbraucht und bei meinen Synology NAS das 24/7 läuft habe ich auch lange herumprobieren müssen bis dort die HDD in den Standby Mode gegangen sind, aber es war eben auch mit viel herumprobieren verbunden, weil ich dann auf div. Dinge/Dienste auf dem NAS verzichten musste. Wenn Du halt einen zentralen Proxmox Host hast, der dann auch noch NAS-Dienste zur Verfügung stellt, auf dem HA und dann vielleicht auch noch andere Dinge laufen, wüsste ich noch nicht einmal wo ich da ansetzen sollte sodass die SSD immer erreichbar ist, aber die HDDs sich dann schlafen legen.

Aber vielleicht hat ein anderer User da ja noch irgendwelche Tipps. Ich muss da leider passen.

VG Jim

So ich bin jetzt zu der Erkenntnis gekommen, das egal was ich in OMV bezüglich der Platten eingestellt habe, nicht an Proxmox übertragen wurde :rofl:

Heißt die Platten wäre niemals in den Standby gewechselt und haben immer auf voller Leistung gedreht…

Mit hdparm -S 60 /dev/sdX für jede Platte habe ich es mal getestet und siehe da beide Platten sind nach 5 Min in den Standby gefahren.

Ebenfalls geprüft mit smartctl -i -n standby /dev/sdX und auch die Rückmeldung bekommen das die Platten im Standby sind.

Stromverbrauch im Standby mal knackige 12W runter!

So nun meine Frage hat mir zufällig jemand auf die schnelle einen Anleitung/Video wie ich das Ganze nun in hdparm? hinterlegen kann mit dem entsprechenden Energiewert??

Was mir nur nicht schlüssig ist warum die Platten ohne Last die ganze Zeit auf Volllast gedreht haben :face_with_raised_eyebrow:

Wären da irgendwelche Anfragen die ganze Zeit im Hintergrund wären die Platten nach nun 30 Minuten wieder aufgewacht aber wie gehofft bleiben diese schön entspannt

Edit: Zusätzlich doch noch eine kleine Glaubensdiskussion.:sweat_smile:

Aktuell steht die APM auf 254 voll Hütte.

Wenn das nachher alles so klappt wie erhofft das die Platte nach 30min in Standby wechselt auf was sollte ich die APM Einstellen?

127 oder 128?:rofl:

Edit vom Edit:

Nach der Anpassung der hdparm.config ist der APM Wert von 254 auf 127 wie gewünscht gesunken aber die spindown hat leider weiterhin nicht funktioniert :see_no_evil_monkey:

Händisch ging es ja einwandfrei, da ich aber gesehen habe das es da bei vielen Problemen gab, werde ich wahrscheinlich auf einen Script ausweichen müssen der nach jedem Neustart den spindown entsprechend wieder setzt :zipper_mouth_face:

So das Problem saß wie so oft vor dem PC in Verbindung mit einer Google KI die wahrscheinlich Kopfweh von meinen Fragen bekommen hat :joy:

Das Problem mit dem Spindown war eine simple falsche Zahl, daher hat es auch mit der Direkteingabe und einer sehr kurzen Zeit zum testen anstandslos funktioniert.

Lösung und meinem laienhaften Versuch von etwas Erklärung für den Nächsten der hier drüber stolpert mit dem selben Problem/Anliegen:

Falls eine Aussage nicht fachlich korrekt ist darf gerne eine Richtigstellung geantwortet werden :upside_down_face:

OMV hat wie geschildert keinerlei Einstellungen an Proxmox übertragen, sprich wenn ihr es ändern möchtet müsst ihr dies direkt in eure Shell von Proxmox (PVE) machen.

Dort angekommen würde ich erstmal abfragen was den der aktuelle Stand ist, der aktuell hinterlegt ist.

  1. Mit lsblk könnt ihr erstmal schauen wie eure Festplatten hinterlegt sind:
lsblk

In meinem Fall sda und sdb.

Mit ls -l /dev/disk/by-id/ könnt ihr die spezifische ID noch herausfinden, da sich die Zuordnung mit sdX ändern können.(Für die Anfangsschritte kann man damit arbeiten, doch für scripte würde ich spezifischere Zuweisungen hinterlegen die sich nicht ändern können -

wichtig für später! :wink: )

ls -l /dev/disk/by-id/

Nicht erschrecken die Liste kann erstmal lang und unübersichtlich erscheinen aber theoretisch ganz einfach.

  1. Mit hdparm -B /dev/sdX (Bei X dann eure Platte hinterlegen bei mir sda/sdb) könnt ihr bei eurer Platte dann den aktuell hinterlegten APM (Advanced Power Managment) Wert abrufen.

Ausgabe sieht wie folgt aus:

/dev/sdb:
APM_level = 127

Kurze Erläuterung der APM Werte:

Wertebereich Verhalten Beschreibung
1 – 127 Spindown erlaubt Die Festplatte darf ihre Spindel nach der in -S eingestellten Leerlaufzeit anhalten (Spindown). Niedrigere Werte bedeuten aggressiveres Energiesparen.
128 – 254 Kein Spindown Die Festplatte bleibt permanent aktiv (Performance-Modus). Höhere Werte bedeuten bessere I/O-Leistung, aber auch höheren Stromverbrauch und mehr Wärmeentwicklung.

Kurz je niedriger der Wert desto mehr Versucht die Festplatte Energie zu sparen,

bei 1 versucht die Festplatte übertrieben gesagt bei jeder noch so kleinen Pause ihre Leistung zu drosseln, was bei der Arbeit jedoch zu starken Stockungen führen kann, da die Platte immer hoch unter runter moduliert.

Im Gegenteil 254 sollte selbsterklärend sein → volle Power.

127/128 sind so die Mitte wobei der Hauptunterschied die Möglichkeit des umstrittenen Spindowns sind.

So wie ich es recherchiert und verstanden habe ist was die maximale Leistung eurer Platte angeht, der Wert jedoch nicht entscheidend heißt selbst mit einem Wert von 1 würde die Festplatte ihre volle Leistung bei der Übertragung von Dateien nutzen!

Nur wie beschrieben sofort bei einer Unterbrechung ihre Leistung wieder drosseln.

  1. Aktuelle Zeit bis zum Spindown/Stanby.
    Hier bin ich selbst noch nicht schlau geworden, da selbst mit hinterlegtem und funktionierendem Wert ich immer die Ausgabe eines fehlenden Wertes bekomme :poop:

Das Kommando sollte lauten: hdparm -S /dev/sdX (X wieder für eure Platte)

So wieder kurze Erläuterung wie sich der Wert für die Zeit ergibt:

Werte von 1 bis 240 (5-Sekunden-Intervalle)

Wert x 5 Sekunden. Bsp.: Wert von 60 ist 60x5Sekunden=300Sekunden/5Minuten

Werte von 241 bis 251 (30-Minuten-Intervalle)

(Wert - 240) x 30 Minuten Bsp.: Wert von 242 ist (242-240) x 30 Minuten= 60Minuten/1Stunde

Für spezifischere Zwischenwerte müsste dann meines Erachtens ein Script wieder her das nach Ablauf der gewünschten Zeit den Spindown “händisch” per Script startet.

Händisch getestet kann das ganze werden mit: (Wert bleibt nur bis zum nächsten Neustart aktiv und löscht sich danach wieder!)

hdparm -S 12 /dev/sdX (X wieder für die Platte und 12 ist der Wert bedeutet wie gerade gelernt 12x5=60Sekunden)

Dann sollte wenn kein Zugriff auf die Platte geschieht nach 60 Sekunden eure Platte hörbar herunterfahren ansonsten wenn ihr euch nicht sicher seid

smartctl -i -n standby /dev/sdX (X ihr wisst schon :joy: ) damit prüft ihr eure Festplatte in welchem Zustand sie ist, wenn als Antwort active/idle kommt hat es nicht funktioniert, dann schaut nochmal ob auch wirklich nichts auf eure Festplatten zugegriffen hat oder kein Abfragebefehl von euch in der CLI ausgeführt wurde der die Platten angesprochen hat.

Ansonsten weckt dieser Befehl die Platte, falls sie im Standby ist, nicht auf und gibt nur ein kurzes: Device is in STANDBY mode zurück.

  1. Wenn ihr nun wisst welchen APM Wert ihr möchtet und welchen Wert für den Zeitdauer bis zu einem Spindown/Standby betrieb, dann geht es nun daran dies zu hinterlegen.

Dies könnt ich machen indem ihr in eurer Proxmox Shell die hdparm.conf abändert und die Werte entsprechend hinterlegt. (So bleiben die Werte auch mit jedem Neustart aktiv)

Zu finden unter /etc/hdparm.conf

einfach nano /etc/hdparm.conf eingeben dann seid ihr direkt in der Datei.

Also geht ihr ganz nach unten in der Datei und fügt folgenden Script am Schluss hinzu:

/dev/disk/by-id/{ID EURER Festplatte - BSP. siehe unten} {
    spindown_time = {WERT}
    apm = {Wert}
}

Hier wie oben unter 1. beschrieben die spezifische ID eurer Festplatte hinterlegen, sowie eure Wunschwerte für spindown und apm.

Beispiel bei mir:

/dev/disk/by-id/ata-WDC_WD80EDBZ-11B0ZA0_VYJT323M {
    spindown_time = 241 (30 Minuten)
    apm = 127 (Mittlerer Wert mit Spindown)
}

Wenn ihr den Script eingefügt habt dann einmal

strg+o → Enter → Strg+x

zum speichern und verlassen der Config.

Nun wenn das alles geklappt hat fehlt nur noch

  1. Einmal Proxmox neustarten, damit auch alle Werte geschrieben werden!

So ich hoffe ihr könnt damit was anfangen und ich helfe jemanden damit in der Zukunft es hinzubekommen oder wenigstens die Zeit für das herausfinden zu verkürzen :slight_smile: