Moin,
ich kenne Deine Anforderungen, sprich Antwortzeiten usw., nicht und ich bin auch niemand, der sich zu 100 % in der Materie auskennt, aber ich glaube, mit Deiner Hardware wird das wohl nichts werden.
Da die CPU, deren Kerne, ja nicht exklusive, nur für ollama und die Abfragen zur Verfügung stehen, sondern ja anscheinend noch andere Sachen darauf laufen, reicht die Hardware nicht aus, ist so mein Bauchgefühl.
Es gibt hier schon den einen oder anderen Thread dazu, z. B.
Wenn ich da dann lese, dass dort auf ein Mac Mini 4 Pro mit M$ CPU und NPU, GPU gesetzt wird, mit massenhaft Memory usw. dann hinkt es mit Deiner Hardware noch mehr.
Aber ich lasse mich da gern eines besseren belehren 
VG
Bernd