SAK · MODELLER_
Maple-Preview – 20B MoE-modell kjører med 120 tokens/sekund på iPhone
Maple-Preview er en ternary 20B MoE-modell som har blitt optimalisert til å kjøre med 120 tokens per sekund direkte på iPhone. Prosjektet vises fram på Hacker News som en demonstrasjon av effektiv modellkomprimering for mobilenheter.
HVORFOR DET BETYR NOE
Det viser at store språkmodeller nå kan kjøres lokalt på smartphones uten internettforbindelse, noe som gjør AI mer tilgjengelig og private for sluttbrukere.
KILDER
MASKINGENERERT SAMMENDRAG Sammendraget er skrevet maskinelt fra kildene under. Vi sorterer og forklarer — men vi er en inngang til feltet, ikke en fasit. Sjekk kilden når noe betyr noe for deg.