SAK · MODELLER_
Needle: 26 millioner parametere holder for function calling på mobiler
Cactus-teamet har åpnet opp Needle, en distillert AI-modell på bare 26M parametere som håndterer function calling (tool use) på vanlige forbrukerenheter. Modellen kjører på 6000 tokens per sekund ved prefill og 1200 ved decode, og er bygget med en ny arkitektur (Simple Attention Networks) uten FFN-lag—fordi tool calling er retrieval-and-assembly, ikke kompleks resonnering.
HVORFOR DET BETYR NOE
Dette viser at agentic AI ikke trenger massive parametertall: med riktig arkitektur kan små modeller håndtere verktøy på smarttelefoner og wearables. Funnet at FFN-lag er bortkastet når strukturert kunnskap kommer fra input (RAG, tool use) kan påvirke effektiviteten til hele agentiske systemer.
KILDER
MASKINGENERERT SAMMENDRAG Sammendraget er skrevet maskinelt fra kildene under. Vi sorterer og forklarer — men vi er en inngang til feltet, ikke en fasit. Sjekk kilden når noe betyr noe for deg.