Lokale KI-Sprachverarbeitung auf Apple Silicon: Was hinter dem Marketingbegriff wirklich steckt

"Läuft lokal" ist mittlerweile ein Marketingbegriff, der auf fast jeder zweiten Diktier-App-Website steht. Was dabei selten erklärt wird: Lokal ist nicht gleich lokal. Ein Modell, das auf der CPU eines Macs läuft, ist genauso wenig in der Cloud wie eines, das auf der Neural Engine läuft, aber die beiden unterscheiden sich in Geschwindigkeit, Akkuverbrauch und Wärmeentwicklung erheblich. Wer verstehen will, warum manche lokalen Diktier-Tools spürbar flüssiger laufen als andere, muss einen Blick auf die Hardware werfen, auf der sie tatsächlich rechnen.

Was die Neural Engine eigentlich ist

Jeder Mac mit Apple Silicon, also mit M1-Chip oder neuer, enthält neben der CPU und der GPU einen dritten, oft übersehenen Baustein: die Apple Neural Engine, kurz ANE. Das ist ein spezialisierter Chip, der ausschließlich für maschinelles Lernen gebaut wurde, für nichts anderes. Während die CPU vielseitig, aber vergleichsweise langsam bei Matrixoperationen ist und die GPU zwar parallel rechnen kann, aber viel Energie zieht, ist die Neural Engine auf genau eine Aufgabe optimiert: neuronale Netze mit möglichst geringem Energieverbrauch auszuführen. Das ist der Grund, warum ein iPhone Gesichtserkennung in Millisekunden schafft, ohne dass der Akku spürbar leidet, und derselbe Chip steckt eben auch im Mac.

Für Spracherkennung ist das relevant, weil Transkriptionsmodelle wie Parakeet oder Whisper im Kern aus genau den Matrixmultiplikationen bestehen, für die die Neural Engine gebaut ist. Ein Modell, das speziell für die ANE kompiliert ist, kann dieselbe Aufgabe mit einem Bruchteil der Energie erledigen, die eine CPU-basierte Implementierung braucht, und das bei vergleichbarer oder höherer Geschwindigkeit.

Warum CoreML der eigentliche Schlüssel ist

Die Neural Engine lässt sich nicht direkt ansprechen wie eine normale Programmierschnittstelle. Apple stellt dafür CoreML bereit, ein Framework, das Machine-Learning-Modelle in ein Format übersetzt, das auf CPU, GPU und Neural Engine automatisch verteilt werden kann, je nachdem, was für die jeweilige Operation am effizientesten ist. Ein Modell muss dafür speziell konvertiert und optimiert werden, es reicht nicht, ein generisches PyTorch-Modell einfach zu übernehmen. Genau hier trennt sich in der Praxis, welche Diktier-Apps wirklich auf die Neural Engine setzen und welche lediglich ein generisches Whisper-Modell über die GPU laufen lassen und das ebenfalls als "lokal" bewerben.

Der Unterschied ist im Alltag spürbar. Ein für CoreML kompiliertes Modell startet schneller, verbraucht spürbar weniger Akku bei längeren Diktier-Sessions und erzeugt weniger Wärme, weil es nicht permanent GPU-Ressourcen beansprucht, die eigentlich für andere Aufgaben gedacht sind. Bei einem Modell, das nur für die CPU oder GPU gebaut ist, merkt man das vor allem dann, wenn man während des Diktierens gleichzeitig andere rechenintensive Anwendungen offen hat, etwa einen Videocall oder eine IDE mit vielen offenen Prozessen.

Was das für Sprich konkret bedeutet

Sprich nutzt für die Transkription das FluidAudio-Modell Parakeet TDT 0.6B v3, speziell für CoreML kompiliert und für den Betrieb auf der Neural Engine optimiert. Die Wortfehlerrate liegt bei rund 4 bis 5 Prozent auf Apple Silicon. Für die Nachbearbeitung, also Rechtschreibkorrektur, Zeichensetzung und stilistische Glättung auf Deutsch, kommt zusätzlich ein Qwen-Modell über das MLX-Framework zum Einsatz, das GPU und Neural Engine gemeinsam nutzt und dabei rund 2,2 Gigabyte groß ist. Beide Modelle laufen ausschließlich auf dem Gerät, es gibt keine Serveranbindung, die diese Verarbeitung übernehmen könnte, selbst wenn man wollte.

Ein technisches Detail, das viel zur wahrgenommenen Geschwindigkeit beiträgt, ist das sogenannte KV-Cache-Pre-Warming. Das Nachbearbeitungsmodell bekommt bei jeder Anfrage denselben System-Prompt vorangestellt, der erklärt, wie es deutschen Text korrigieren soll. Anstatt diesen Prompt bei jedem einzelnen Diktat neu zu verarbeiten, wird er beim Start der App einmal vorberechnet und auf der Festplatte zwischengespeichert. Beim eigentlichen Diktieren muss das Modell dann nur noch den tatsächlich gesprochenen Text verarbeiten, nicht den kompletten Kontext erneut, was die gefühlte Wartezeit spürbar reduziert. Auch das lädt und entlädt sich dynamisch, das Sprachmodell liegt nur während einer aktiven Diktier-Sitzung im Arbeitsspeicher und wird danach wieder freigegeben, damit der Mac für alle anderen Anwendungen den vollen Speicher zur Verfügung hat.

Der ehrliche Nachteil dieser Architektur: Sie funktioniert ausschließlich auf Apple Silicon, ein Mac mit Intel-Prozessor kann diese Modelle nicht in der gleichen Geschwindigkeit oder Effizienz ausführen, weil die entsprechende Neural Engine schlicht fehlt. Das ist auch der Grund, warum Sprich mit macOS 14.0 als Minimum und Apple Silicon als Voraussetzung startet, nicht aus Bequemlichkeit, sondern weil die gesamte Architektur auf dieser Hardware aufbaut. Wer noch einen Intel-Mac nutzt, hat mit einer Cloud-Lösung im Zweifel bessere Ergebnisse, muss dafür aber auf die Datenschutzvorteile lokaler Verarbeitung verzichten.

Die zweite ehrliche Einschränkung betrifft die Latenz. Lokale Verarbeitung auf der Neural Engine ist schnell, aber nicht verzögerungsfrei. Zwischen Loslassen der Diktier-Taste und fertigem Text vergehen üblicherweise 2 bis 3 Sekunden, in denen das Post-Processing-Modell den Text noch einmal durchgeht. Ein reiner Cloud-API-Call kann in manchen Fällen minimal schneller antworten, weil dort spezialisierte Serverhardware ohne Rücksicht auf Akkulaufzeit rechnet. Bei 200 Wörtern pro Minute Sprechgeschwindigkeit gegenüber 40 Wörtern beim Tippen fallen diese 2 bis 3 Sekunden im Tagesverlauf kaum ins Gewicht, wer aber jede Millisekunde zählt, sollte diesen Trade-off kennen, bevor er sich für eine lokale Lösung entscheidet.

Fazit

"Lokal" ist eine notwendige, aber keine hinreichende Information, wenn man eine Diktier-App bewertet. Entscheidend ist, ob ein Modell tatsächlich für die Neural Engine gebaut wurde oder nur auf CPU und GPU mitläuft, weil sich damit Akkulaufzeit, Geschwindigkeit und Wärmeentwicklung im Alltag spürbar unterscheiden. Wer verstehen will, wie sich das in der Praxis auf die Textqualität auswirkt, findet in der Übersicht der wichtigsten KI-Tools 2026 für den Mac eine Einordnung, wo Diktat im Vergleich zu anderen lokalen und Cloud-KI-Werkzeugen steht.

Wer das ausprobieren möchte, kann bei Sprich kostenlos starten. 2.000 Wörter pro Woche sind gratis, keine Kreditkarte erforderlich.