da kommt es erst einmal drauf an, was Du mit “ohne irgendwelche fremde Cloud-Anbindung” meinst. Bei Google Assistant ist immer die Google-Cloud im Spiel, auch bei Nabu Casa.
Du kannst die Anbindung selbst einrichten, wie zum Beispiel hier erklärt. Dafür musst Du aber aus dem Web auf Deinen Home Assistant zugreifen können, und das am besten mit einem gut abgesicherten Zugang.
Der Sprachassistent von Home Assistant ist bereits vorhanden, aber bislang noch im Entwicklungsstadium und ohne Aktivierungswort. Er muss also noch per Hand aktiviert werden.