Nein um ein Nest Gerät zum “zuhören” zu bringen muss es immer mit Google verbunden sein. D.h. Du kannst Google nicht aussperren. Wobei ich Dir das auch schon hier hätte sagen können. 
BTW: Das dürfte wohl auch nie kommen (außer jemand würde das BS eines Nest Gerätes “hacken” und es mit einer alternativen Firmware bestücken), denn daran dürfte Google wohl keinerlei Interesse haben. 
VG Jim