Moin,
erst einmal, ich bin kein Netzwerkspezialist, ich verstehe mein kleines Netzwerk hier zu Hause, welches nicht mit PF/OPNsense und Managed Switches und zig VLANS abgesichert ist.
Ich gehe in letzter Zeit aber gegen jede Cloudlösung vor und eliminiere sie, z. B. aktuell ist mein Saugrobby zum Kernschrott geworden, jetzt suche ich einen Ersatz, der ohne Cloud funktioniert, oder wo ich es selbst Hosten kann, das erfordert Recherche, andere Komponenten, brauchen kein Netzwerk im üblichen sinne, da sie lokal Funken, da ist das Heimnetz uninteressant, weil sich jeder vor das Haus stellen kann und Zigbee, Zwave, Bluetooth, WLAN mitschneiden, verfolgen kann, wenn man nur genügend Kriminelle-Energie hat 
Zum anderen, es ist ja schon angeklungen, macht man etwas nicht zu 100 % korrekt, dann ist die Fehlersuche, so wie Du das aufbauen möchtest, extrem schwer, meine Vermutung, kann mich täuschen.
Ein anderer User, hieraus dem Forum hatte nur mal ADGuard auf HA eingerichtet und wieder deaktiviert und schon ging sein Banking nicht mehr!
Ich will Dir den Spaß an der Technik nicht verderben, daher auch noch etwas Positives zum Thema, evtl. so ein Mini-PC, mit Proxmox und allen anderen Komponenten dann in Container, VM, z. B. Firewall, Switch, ADGuard usw.
Mein Fazit, ich bin also eher bei den Skeptikern, die lieber vorne anfangen und schon beim Kauf der IoT Geräte darauf achten, dass es nicht zu gefährlich wird, als später alles durch Brandmauern und einer verschachtelten Netzwerktopologie abzusichern.
Ich lese hier mal weiter mit, weil mich dann Deine Erfahrung, die Du gemacht hast, interessiert und ich ja vielleicht vom Gegenteil überzeugt werde und mich dann auch ans aufsplitten und neu Einrichten herangehe.
VG
Bernd