Jepp. 
Beim durchreichen dann am besten den kompl. USB Port durchreichen
weil das durchreichen per Vendor/Device ID ggf. Probleme macht. Zumindest hat es das (früher) einmal.
@Wolfi1 Die Anleitung in Kurzform. 
- Den Coral USB an die HA VM unter Proxmox durchreichen.
- Das Frigate HA Addon installieren und einrichten.
- Fertig.
Da es hier ja um den Coral USB geht: Die o.g. Treiberinstallation für den Coral wäre - wie @dp20eic bereits erwähnt hat - nur dann notwendig wenn Du Frigate in einem LXC unter Proxmox installiert hättest, oder installieren wolltest.
Anm.: Die Einrichtung und Nutzung der leistungsstärkeren M.2 Variante des Coral - egal ob in einem LXC oder einer VM - ist dann etwas komplizierter. Hier hat sich ein User mal dazu ausgelassen:
https://www.reddit.com/r/Proxmox/comments/1k0yqf3/info_proxmox_home_assistant_frigate_w_tpu_for/?tl=de
VG Jim