Ich bin am überlegen einen lokalen Sprachassistenten aufzusetzen. Aktuelle verwende ich ein Macbook M1 mit 16GB Speicher was von der Geschwindigkeit ausbaufähig ist. Ich bin am überlegen mir den kleinsten Mac Mini zuzulegen und diesen dafür zu verwenden.
Hat jemand einen lokalen Sprachassistenten eingerichtet? Mit was? Wie ist es von der Geschwindigkeit?
Hat jemand einen Mac Mini als KI Server im Einsatz? Zufrieden?
Hallo,
ich habe noch keine loale AI überlege aber auch mir das mal zuzulegen, ja und gerade bei Sprachassistenten ist die Leistungsfähigkeit wegen der Responsezeit wichtig. Soweit ich bislang recherchiert habe ist aber die Grafikarte das wesentliche Element und nicht der eigentliche Prozessor, aber Experte bin ich da auch nicht. Ideal dafür sollen wohl Gamingcomputer sein.
Gruß
Elmar
Bei den M4 Prozessoren von Apple ist es ja so das hier bei der kleinsten Ausstattung 10 CPU und 10 GPU Kerne verbaut sind bei 16 GB geteilten Speicher das scheint schon ganz ordentlich zu sein. Ich habe auch Videos gesehen wo der Mac Mini als KI Server eigerichtet wurde und das scheint nicht so schlecht zu laufen und ist vor allem sehr viel günstiger als ein vergleichbarer anderer KI Server und dabei braucht er auch nur wenig Strom.
Moin,
anstelle einer Stromhungrigen Grafikkarte, würde ich abwarten, bis die kleinen MiniPCs mit aktueller Hardware kommen, in denen die aktuellen NPUs von AMD oder Intel stecken, bei Intel etwas von Core Ultra 200, bei AMD AI 300, oder halt wirklich die Macs nutzen.
VG
Bernd
Hi,
cool danke für die Hinweise, ich nehme natürlich lieber eine MAC als einen Windows Rechner, na mal schauen werde ich beobachten. Wäre aber in der Tat eine super Lösung weil er in meine “Architektur” passt und in der Tat stromsparender ist
Gruß
Elmar
Hallo,
ich habe das jetzt mal auf meinem MacMini installiert, der hat allerdings noch den A1 Prozessor und daher sicherlich keine dauerhafte Lösung aber zum testen sollte es gehen. ICh muss das in den nächsten Tagen alles mal testen. Könnt ihr Modelle in Ollama empfehlen die sich bewährt haben?
Gruß
Elmar