Was mich betrifft kann ich Dir da leider auch nicht mehr helfen weil ich Frigate nicht benutze. Das Glances da so einen hohen CPU-Wert für Frigate anzeigt ist schon seltsam, andererseits weiß ich auch nicht ob man der Anzeige von Glances da auch wirklich trauen kann. Insbesondere wenn Werte jenseits der 100 % angezeigt werden. 
Ich hatte hier auch schon Anzeigen von Glances das der Container homeassistant die CPU angeblich zu 130 % auslasten würde und von daher sehe ich Glances für mich eher nur als grobe Orientierung.
Mit dem aktivierten Coral sollte die CPU-Auslastung durch Frigate allerdings etwas sinken, wenn auch nicht so sehr weil der Coral halt nur die Objekterkennung übernimmt und Frigate selber von Haus aus die CPU schon ziemlich stark belasten kann. Aber vielleicht haben hier andere Frigate Benutzer ja noch eine Idee was Du noch machen und/oder ggf. anders einrichten könntest.
Was ich aber trotzdem nicht ganz verstehe ist das:
Ja was denn nun? 
Aber ok Frigate ist halt nicht mein Thema.
VG Jim