SAK · VERKTOY_
Ollama får MLX-optimalisering: 2× raskere på Mac med 4-bits inferens
Ollama, verktøyet for å kjøre store språkmodeller lokalt, har fått full MLX-støtte som gir 2× hastighetsøkning på Mac-datamaskiner. Oppdateringen inkluderer 4-bits inferens med NVIDIA-kvalitet.
HVORFOR DET BETYR NOE
Dette gjør det praktisk mulig å kjøre avanserte modeller på vanlige Macs uten cloud-avhengighet, noe som er viktig for lokal, privat AI-inferens.
KILDER
MASKINGENERERT SAMMENDRAG Sammendraget er skrevet maskinelt fra kildene under. Vi sorterer og forklarer — men vi er en inngang til feltet, ikke en fasit. Sjekk kilden når noe betyr noe for deg.