Nur falls jemand sich diese Frage auch mal stellen sollte, so habe ich es jetzt „gelöst“.
Ich habe tatsächlich nur für diesen Zweck folgendes Theme erstellt und im Benutzerprofil hinterlegt:
app-header-theme:
app-header-background-color: var(--card-background-color)
app-header-text-color: var(--primary-text-color)
app-header-selection-bar-color: var(--primary-text-color)
Hierdurch wird ausschließlich der App Header (allerdings global) geändert und das restliche Aussehen von Home Assistant behält die default Werte.
Das ist jetzt zwar nicht ganz so wie ich es wollte, nur bei den Dashboards, aber ich kann damit leben.