Hallo und 2 Fragen an die Proxmox-User hier im Forum.
Was für SSD nutzt ihr im Proxmox?
Hintergrund: Bei mir im Proxmox steigt die I/O-Verzögerung teilweise auf über 90%. Ich habe da die von mir verbaute SSD in Verdacht. Ist halt nur ne Consumer SSD 256GB.
Auf meinem Proxmox mit 16GB-Ram (Intel Core i5) laufen 3 LXC (Ubuntu, PiHole und EMQX) und HA in einer VM.
Macht es sind die SSD gegen eine Enterprise zu tauschen?
Moin,
bevor man in etwas neues Investiert, sollte man lieber mal schauen was, wer der Verursacher der IO ist.
Es gibt unter Linux viele geeignete Tools, die das leisten können.
topbtopiotopUnd noch ganz viele andere ausgewachsene Monitoring Tools.
So sieht es aus, wenn top von der PVE Konsole aufgerufen wird
top - 16:53:21 up 12 days, 3:18, 2 users, load average: 0.42, 0.29, 0.27
Tasks: 673 total, 1 running, 672 sleeping, 0 stopped, 0 zombie
%Cpu(s): 0.4 us, 0.7 sy, 0.0 ni, 98.8 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
MiB Mem : 63702.8 total, 22306.9 free, 38603.8 used, 3640.6 buff/cache
MiB Swap: 3840.0 total, 3835.7 free, 4.2 used. 25099.0 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
10406 100968 20 0 4814756 335744 96640 S 2.6 0.5 6,42 beam.smp
1416 root rt 0 559464 166876 53088 S 2.0 0.3 271:06.30 corosync
1126 root 20 0 750964 4864 1920 S 1.7 0.0 134:27.13 lxcfs
10559 100967 20 0 3129908 59324 27144 S 1.3 0.1 218:07.91 promtail
26218 100969 20 0 2311224 55508 24808 S 1.3 0.1 224:11.80 promtail
10558 100970 20 0 1908296 18208 6144 S 1.0 0.0 124:55.10 prometheus-node
28215 100969 20 0 2046684 51908 21736 S 0.7 0.1 119:29.84 promtail
555 root 20 0 0 0 0 S 0.3 0.0 0:29.25 l2arc_feed
1333 root 20 0 622344 72700 53384 S 0.3 0.1 28:46.09 pmxcfs
1418 root 20 0 6388 3456 3200 S 0.3 0.0 2:21.98 proxmox-firewal
10560 100971 20 0 5689448 95028 51968 S 0.3 0.1 38:10.04 telegraf
26219 100971 20 0 5688104 96704 52608 S 0.3 0.1 43:57.96 telegraf
28887 100210 20 0 5669260 85640 33256 S 0.3 0.1 38:16.29 prometheus
1985150 www-data 20 0 251372 152548 9856 S 0.3 0.2 0:02.18 pveproxy worker
1998787 root 20 0 0 0 0 I 0.3 0.0 0:00.10 kworker/10:1-events
2003069 root 1 -19 0 0 0 S 0.3 0.0 0:00.07 z_wr_iss
2004362 root 1 -19 0 0 0 S 0.3 0.0 0:00.03 z_wr_iss
2004830 root 20 0 0 0 0 I 0.3 0.0 0:00.09 kworker/7:2-events
2005586 root 20 0 13120 6144 3840 R 0.3 0.0 0:00.07 top
3415030 100000 20 0 17.7g 658308 17500 S 0.3 1.0 12:31.10 java
3421778 100000 20 0 1944744 32240 17152 S 0.3 0.0 6:49.84 containerd
3423850 135002 20 0 18.6g 116396 17072 S 0.3 0.2 7:55.29 java
3423859 100000 20 0 67100 62360 4992 S 0.3 0.1 3:37.10 python3
1 root 20 0 170184 13880 8888 S 0.0 0.0 0:52.76 systemd
2 root 20 0 0 0 0 S 0.0 0.0 0:30.25 kthreadd
3 root 20 0 0 0 0 S 0.0 0.0 0:00.00 pool_workqueue_release
4 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 kworker/R-rcu_g
5 root 0 -20 0 0 0 I 0.0 0.0 0:00.00 kworker/R-rcu_p
btop
iotop
Total DISK READ: 0.00 B/s | Total DISK WRITE: 21.25 K/s
Current DISK READ: 0.00 B/s | Current DISK WRITE: 6.80 K/s
TID PRIO USER DISK READ DISK WRITE> COMMAND
1321 be/4 root 0.00 B/s 17.00 K/s rrdcached -B -b /var/lib/rrdcached/db/ -j /var/lib/rrdcached/journal/ -p /var/run/rrdcached.pid -l unix:/var/run/rrdcached.sock
1496 be/4 root 0.00 B/s 3.40 K/s rrdcached -B -b /var/lib/rrdcached/db/ -j /var/lib/rrdcached/journal/ -p /var/run/rrdcached.pid -l unix:/var/run/rrdcached.sock
2003346 be/4 100100 0.00 B/s 870.43 B/s mariadbd
1 be/4 root 0.00 B/s 0.00 B/s init
2 be/4 root 0.00 B/s 0.00 B/s [kthreadd]
3 be/4 root 0.00 B/s 0.00 B/s [pool_workqueue_release]
4 be/0 root 0.00 B/s 0.00 B/s [kworker/R-rcu_g]
5 be/0 root 0.00 B/s 0.00 B/s [kworker/R-rcu_p]
6 be/0 root 0.00 B/s 0.00 B/s [kworker/R-slub_]
7 be/0 root 0.00 B/s 0.00 B/s [kworker/R-netns]
10 be/0 root 0.00 B/s 0.00 B/s [kworker/0:0H-events_highpri]
12 be/0 root 0.00 B/s 0.00 B/s [kworker/R-mm_pe]
13 be/4 root 0.00 B/s 0.00 B/s [rcu_tasks_kthread]
14 be/4 root 0.00 B/s 0.00 B/s [rcu_tasks_rude_kthread]
15 be/4 root 0.00 B/s 0.00 B/s [rcu_tasks_trace_kthread]
16 be/4 root 0.00 B/s 0.00 B/s [ksoftirqd/0]
17 be/4 root 0.00 B/s 0.00 B/s [rcu_preempt]
18 rt/4 root 0.00 B/s 0.00 B/s [migration/0]
19 rt/4 root 0.00 B/s 0.00 B/s [idle_inject/0]
20 be/4 root 0.00 B/s 0.00 B/s [cpuhp/0]
21 be/4 root 0.00 B/s 0.00 B/s [cpuhp/2]
22 rt/4 root 0.00 B/s 0.00 B/s [idle_inject/2]
23 rt/4 root 0.00 B/s 0.00 B/s [migration/2]
24 be/4 root 0.00 B/s 0.00 B/s [ksoftirqd/2]
26 be/0 root 0.00 B/s 0.00 B/s [kworker/2:0H-events_highpri]
27 be/4 root 0.00 B/s 0.00 B/s [cpuhp/4]
VG
Bernd
P.S.: auch das wäre noch eine Option
https://wiki.ubuntuusers.de/Festplatten-Geschwindigkeitstest/
Was möchtest Du darauf jetzt hören? 
Die User werden wohl ganz unterschiedliche SSD nutzen. Ich z.Z. z.B. Kioxia Exceria Plus G3 NVMe und davor mal rund 2 Jahre lang u.a. Crucial MX500 SSD.
Sofern Du ZFS nutzen solltest ja, oder sofern das Teil schon älter sein sollte und bei Dir noch irgendwo zufällig seit Jahren herumlag, dann auch ja. 
Sofern z.B. ext4 genutzt wird und wir hier ja vermutlich eher von einer kleinen Proxmox Installation für den Heimgebrauch reden, sollten m.M.n. auch Consumer SSD ausreichend sein. Sofern man da nicht gerade das “Billigste vom Billigen” kauft.
BTW: Zum Thema I/O Delay gibt es im Proxmox Forum aber auch jede Menge Beiträge, die Du Dir hoffentlich auch schon mal angeschaut hast.
@dp20eic Vermutlich sieht die Anzeige von @Schwippser eher so
VG Jim
Jepp … das obere Bild entspricht schon dem, was ich so in der PVE-Übersicht sehe.
Bin nur gerade beruflich unterwegs. Werde nach meiner Heimkehr mal Bernd’s Tipps in Angriff nehmen und den Bösewicht versuchen zu ermitteln 
ZFS nutze ich nicht.
Moin,
ich bin mir nicht sicher, ob er wirklich die CPU Last meint, denn das hat dann ja weniger mit der SSD/M.2 zu tun, da die meisten Prozesse ja im Memory ablaufen, außer beim TE wird aufgrund von Speichermangel geswaped.
I/O Last interpretiere ich mit wirklich Schreib-, Leseoperationen auf der Platte (SSD, M.2)
VG
Bernd
Ne er meint nicht die CPU-Last aber bei der CPU-Last Anzeige unter Proxmox gibt es ja auch noch die IO Delay-Anzeige und diese hat dann schon u.a. etwas mit der SSD zu tun. D.h. das was da unter IO Delay angezeigt wird ist ja die Zeit die die CPU auf irgendetwas warten muss. Wenn dort - wie in meinem ersten Foto - ein durchgehend hoher Wert auftaucht deutet das darauf hin das es ggf. irgendwo ein Problem gibt und das kann z.B. u.a. daran liegen das die Anworten von der SSD auf ein IO Request von der CPU nur sehr verzögert erfolgen. Aber es spielen natürlich auch noch andere Punkte eine Rolle. Z.B. das von Dir bereits erwähnte Swap-File ja oder nein usw.
Bei einer kleinen 256GB SSD vermute ich aber mal das es sich dabei um irgendein altes Teil handelt das @Schwippser noch irgendwo herumliegen hatte, das ggf. auch schon lange irgendwo anders im Einsatz war und somit wohl langsam am Ende seines Lebens angekommen ist.
VG Jim
Die SSD habe ich im Sommer gekauft. Also sollte das eigentlich eine neue SSD sein. Allerdings nix hochwertiges.
Die hier
Ich kenne die BAITITON Teile nicht weiter, aber so wie es aussieht dürfte das wohl irgendein NoName China Teil sein, welches über Ali mit 256GB aktuell für etwas mehr als € 10 zu haben ist. D.h. jetzt nicht per se das sie schlecht sein muss, aber große Erwartungen oder Vertrauen hätte ich wohl nicht in so ein Teil. Für ein produktives Proxmox System würde ich die auch nicht einsetzen.
Aber Du kannst ja auch erst einmal einige Tests und Messungen machen und vielleicht gibt es ja auch noch eine andere Ursache für die IO Verzögerung. Trotzdem und unabhängig von dem Ergebnis der Test und Messungen, würde ich dieses BAITITON Teil gegen eine bekanntere Marke ersetzen. Sofern nur mSATA möglich ist schränkt das die Auswahl natürlich sehr ein und da würde ich dann vermutlich zu einer Kingston KC600 greifen. Besser wäre natürlich wenn Du auch eine NVMe SSD verbauen könntest, denn da wäre die Auswahl entsprechend groß.
VG JIm
Danke für die Hinweise. Leider funktioniert nur mSATA. Aber ich werde die Tests mal laufen lassen und schauen.
Danke nochmals
Volle Zustimmung, da würde ich erst mal suchen, was / wer der Verursacher ist.
Auf meinem Proxmox laufen zwei HA-Instanzen, Windows11, RaspberryMatic als VM udn dazu noch 20 LXC’s und der Rechner langweilt sich damit gewaltig ( AMD Ryzen 9, 64 GB RAM und ner 1 TB NVMe + 2TB SSD )
Selbst auf dem Backup-Proxmox mit Core-i3, 16 GB Ram unter Proxmox hatte ich mit HA keine Probleme.
Wobei SSD nicht gleich SSD ist - ne Consumer SSD kann halt billiger Mist sein oder eben was ordentliches.
Ich nutze nur Samsung SSD und das seit Jahren vollkommen problemlos, fast alle Modelle aus der 870er Serie, die 980Pro Serie hab ich nur als NVMe, weil keine andere damals lieferbar war.
Kann natürlich sein, das die SSD nen Schuss weg hat, da würde ich mal die SMART-Parameter prüfen und mal schauen, ob die Anschlüsse fest sitzen.
Mein Proxmox-Server hat z.b. extrem bescheidene SATA-Anschlusskabel mit Mikrostecker auf der Platine, die sind immer für Probleme gut ( Kontaktprobleme, abgeknicktes Kabel und die Kabel gibt es nur beim Hersteller )
Moin,
zum einen ist natürlich die Schnittstelle im PC von Interesse und dann, ob die mSATA zu dieser passt.
Hier mal etwas über die verschiedenen SATA-Anschlüsse
Dann kommt es natürlich noch auf die verbauten Kontroller-Chips auf der mSATA Karte an, da gibt es gute und weniger gute, die Guten haben, soweit ich mich erinnere, internen Cache, die weniger Guten, dann halt nicht, muss aber dazu sagen, dass ich das jetzt nicht weiter recherchiert habe und nur aus der Erinnerung schreibe, kann also Humbug sein.
Aber wie schon geschrieben, ich würde erst einmal schauen wer, was da so ein trouble macht.
VG
Bernd
Hier ein kurzes Feedback zu meinen Test … besser gesagt zu den nicht stattgefundenen Tests.
Ich denke die Vermutung, dass die Probleme von der SSD her rührten, haben sich bestätigt.
Letztendlich muss ich der (jetzt defekten) SSD sogar noch dankbar sein.
Sie hat mit ihrem Tod noch gewartet bis ich auf mein Backupsystem switchen konnte.
Gerade als ich die Tests starten wollte hat sie dann das Zeitliche gesegnet.
