Ollama 0.32.3: Windows on ARM erhält CUDA, Tool-Calls werden robuster

Ollama 0.32.3 erweitert die lokale LLM-Runtime an drei Stellen, die im Betrieb zählen: CUDA läuft nun auf Windows ARM64, GLM-Tool-Calls gehen am Generierungsende nicht mehr verloren, und Downloads sowie Anthropic-Thinking-Streams wurden repariert.

Der Release erschien am 23. Juli. Er ist kein neues Modell, sondern ein Upgrade der Ausführungsschicht – und genau dort entstehen bei lokalen Agenten oft die unerquicklichsten Fehler.

Windows on ARM bekommt einen CUDA-Pfad

Ollama nennt erstmals CUDA-Support für Windows ARM64. Hinzu kommen B200-Support über CUDA 12 und ein geringerer Speicherbedarf auf Linux-Systemen mit CUDA- oder ROCm-iGPUs. Für Teams mit lokaler Inferenz bedeutet das: Die unterstützte Hardware-Matrix wird breiter, ohne dass der Anwendungscode wechseln muss.

Wichtig ist die Einordnung: Der Release verspricht keine pauschale Beschleunigung für jede ARM-Maschine. Ob eine konkrete Konfiguration produktiv trägt, hängt weiterhin von Treiber, GPU, Modell und Kontextlänge ab. Aber Windows-on-ARM-Deployments haben nun einen offiziellen Runtime-Pfad, statt auf Workarounds angewiesen zu sein.

Der wichtigere Fix: Tool-Aufrufe werden nicht mehr still verworfen

Für Agenten ist der präziseste Punkt in den Release Notes der Fix für GLM tool calls being silently dropped at the end of generation. Ein vom Modell formulierter Tool-Call, der am Streamende verschwindet, ist kein kosmetischer Fehler: Der Agent kann seine Antwort plausibel fortsetzen, obwohl der beabsichtigte Seiteneffekt nie ausgeführt wurde.

Zusätzlich behebt Ollama hängende Model-Downloads und Probleme mit Anthropic-Thinking-Streams. Für Laguna-2.1-Modelle kommen Chat-, Thinking- und Tool-Calling-Unterstützung hinzu; auch ein Metal-Inferenzfehler wurde korrigiert.

Was Betreiber jetzt prüfen sollten

• Agenten-Regressionstest: GLM-Workflows mit Tool-Call am Ende einer Antwort erneut ausführen und die tatsächlich empfangenen Tool-Calls gegen das Modellprotokoll prüfen.
• Streaming-Clients: Falls Thinking-Events von Anthropic-kompatiblen Integrationen verarbeitet werden, Abbruch- und Abschlusslogik testen.
• Windows ARM64: CUDA-Treiber, erkannte GPU und realen VRAM-Verbrauch mit dem vorgesehenen Modell messen – nicht allein auf die neue Kompatibilitätszeile vertrauen.
• Rollout: Das Update zunächst auf einem Staging-Runner installieren; die Runtime aktualisiert zugleich MLX- und llama.cpp-Engines.

# Version und lokales Modellinventar vor dem Rollout festhalten
ollama --version
ollama list

# Danach einen reproduzierbaren Tool-Call-Test gegen den eigenen Agenten fahren
# und Tool-Events im Client-Log gegen die erwartete Ausführung vergleichen.

Warum das mehr ist als Release-Noise

Lokale KI-Stacks werden nicht durch Modellankündigungen allein zuverlässig. Entscheidend sind Hardware-Pfade, Streaming-Semantik und die korrekte Übergabe von Tool-Calls. Ollama 0.32.3 verbessert alle drei Ebenen in einem kleinen Release. Für produktive Agenten ist der Fix gegen still verlorene Aufrufe die eigentliche Schlagzeile.

Quelle: Ollama v0.32.3 – offizielle Release Notes (veröffentlicht am 23. Juli 2026, 00:44 UTC).