Bei mir auch genauso. Mein Homeserver ist ein MSI Cubi 5 12M1-022BDE, keine Rakete aber bin sehr zufrieden.
Ehrlich, der sagt mir gar nichts. Wüsste auch sonst nichts, was ich besonders eingestellt hätte. Vielleicht läuft bei dir in HA viel mehr im Hintergrund, als bei mir. 
Oder nutzt du vielleicht Studio Code Server? Der kann im Hintergrund auch für höhere Auslastung sorgen:
Stimmt. Habe beim schreiben schon gedacht, ist schon 4x so hoch, aber insgesamt im Rahmen.
So ganz sicher scheint das ja nicht zu sein, einer der Mods im Proxmox-Forum deutete sowas an. Daher habe ich dann doch den Workaround durchgeführt. Hat geholfen.