SAK · MODELLER_
Ternary-Bonsai-27B: Kompakt språkmodell med ternær kvantisering
Hugging Face-modellen Ternary-Bonsai-27B fra prism-ml bruker ternær kvantisering (3-bits vekter) for å redusere modellstørrelse drastisk mens den opprettholder funksjonalitet. Modellen er tilgjengelig i GGUF-format for lokal kjøring.
HVORFOR DET BETYR NOE
Ternær kvantisering er en frontier-teknikk for å kjøre store modeller effektivt på ressursbegrensede enheter. Dette utvider tilgjengeligheten til avanserte språkmodeller utenfor datasentre.
KILDER
MASKINGENERERT SAMMENDRAG Sammendraget er skrevet maskinelt fra kildene under. Vi sorterer og forklarer — men vi er en inngang til feltet, ikke en fasit. Sjekk kilden når noe betyr noe for deg.