Ich vermute, das primäre Ziel ist, bestimmte HUE-Birnen an/aus zu schalten und bei Bedarf zu dimmen.
Ist der HUE V1 Dimmer denn richtig angelernt?
Siehst du in Zigbee2MQTT, wann der Schalter zuletzt “gesehen” wurde?
Wenn du auf eine Taste des Dimmers drückst, muss dort “gerade eben” stehen.
Über die direkte Verbindung zu einer Gruppe von Lampen oder einem einzelnen Gerät würde ich mir jetzt noch keine Gedanken machen. Erstmal muss der Taster richtig angelernt/eingebunden sein.
Der Switch Manager kommt auch erst ins Spiel, wenn der Taster/Schalter/Dimmer richtig eingebunden ist. 
Falls nix geht, lösche den Hue-Dimmer aus HA und setze ihn auf Werkseinstellung zurück, bevor du ihn neu in dein System einbindest.
Zum Zurücksetzen Deines Hue Dimmschalteres auf die Werkseinstellungen entfernst Du die Batterieabdeckung. Halte die Setup-Taste mindestens 10 Sekunden lang gedrückt, bis die LED-Anzeige auf der Vorderseite orange blinkt.
Quelle: Installation eines Philips Hue Dimmschalters | Philips Hue DE