Needle 2 verdichtet eine sehr konkrete Agentenaufgabe auf 14 MB: Das neue, offen lizenzierte Modell von Cactus Compute soll Tool Calls, Geräteaktionen und strukturierte Extraktion direkt auf kleinen Edge-Geräten ausführen. Der interessante Punkt ist nicht „ein winziges Chatmodell“, sondern ein enger, technisch kontrollierbarer Aktionspfad.
Was Cactus tatsächlich veröffentlicht hat
Nach Angaben des Herstellers hat Needle 2 45 Millionen Parameter, liegt als einzelne 14-MB-Binärdatei vor und benötigt für eine vollständige Session rund 28 MB RAM. Es wird unter Apache 2.0 veröffentlicht; Code und Gewichte sind verlinkt. Cactus positioniert das Modell ausdrücklich für Tool Calling, Device Use und strukturierte Extraktion – also für Situationen, in denen ein natürlicher Auftrag auf eine bekannte Funktion mit typisierten Parametern abgebildet werden muss.
Das ist eine andere Optimierungsaufgabe als offener Dialog. Für ein Smart-Home-Kommando oder ein Formular-Extraktionsschema muss ein Modell nicht breit argumentieren oder lange Texte erzeugen. Es muss die richtige Aktion auswählen, Werte aus der Eingabe erden und ein valides Ergebnis liefern. Needle erzwingt dabei laut Projektseite einen Call-Umschlag und kompiliert aus deklarierten Schemas eine Byte-Grammatik. Ein leerer Call dient als Ablehnung.
Warum die Größenordnung operativ relevant ist
Die Hardware-Zahlen sind zunächst Herstellerangaben, aber die Zielklasse ist klar: Cactus nennt 500 Decode-Tokens pro Sekunde auf einem Raspberry Pi 5 und Einsätze auf günstigen Android-Telefonen, VR-Headsets sowie neueren Mikrocontrollern. Damit verschiebt sich die Architekturfrage. Ein lokaler Agent muss nicht mehr jedes klar abgegrenzte Kommando an eine Cloud-API senden.
- Lokal: bekannte Tools, enge Schemas, geringe Latenz und keine Übertragung der Roh-Eingabe.
- Cloud-Eskalation: offene Fragen, unbekannte Aufgaben oder niedrige Modell-Confidence.
- Serverseitig: Policy, Berechtigungen und Audit bleiben trotzdem eigene Schichten – ein valider Tool Call ist noch keine erlaubte Aktion.
Der wichtige Vorbehalt: klein ist kein Synonym für allgemein
Cactus vergleicht Needle 2 auf Tool-Call- und Mobile-Device-Use-Benchmarks mit deutlich größeren Small Models. Diese Resultate sind interessant, aber noch keine unabhängige Leistungsbestätigung. Die Produktseite formuliert die Abgrenzung selbst recht deutlich: Das Modell soll bei Off-Topic-Anfragen ablehnen und liefert einen gelernten Confidence-Wert mit.
Für Teams ist das die richtige Lesart: Needle 2 ist kein Ersatz für ein großes Reasoning-Modell. Es ist ein möglicher lokaler Action Mapper vor einer größeren Instanz. Gerade weil das Modell über eine Grammatik an deklarierte Tool-Schemas gebunden wird, kann dieser Pfad testbarer sein als ein frei formulierender Assistent – vorausgesetzt, Berechtigungen, Parameter-Validierung und sichere Fallbacks liegen außerhalb des Modells.
Praktischer Testplan vor einem Einsatz
- Nur idempotente oder reversibel bestätigbare Tools als erste Testmenge freigeben.
- Schema-Fehler, Out-of-Scope-Anfragen und mehrdeutige Parameter separat messen – nicht nur Happy Paths.
- Eine Confidence-Schwelle gegen einen sicheren Cloud- oder Human-Fallback kalibrieren.
- Tool-Ausführung weiterhin autorisieren; die Modell-Ausgabe ist Eingabe, keine Policy-Entscheidung.
Quellen
- Cactus Compute: Needle 2 – Produkt-, Architektur- und Benchmarkangaben (abgerufen am 11. August 2026)
- Cactus Compute: Needle Repository (Apache-2.0-Lizenz, Code und Startanleitung)
- Signierter Repository-Commit vom 10. August 2026, 16:17 UTC
Leave a Reply