SAK · PRODUKTER_
Manifest skrotet sitt LLM-router – mener enkeltmodeller er bedre
Manifest har fjernet sin LLM-router som automatisk valgte modell basert på oppgavekompleksitet. Etter fire måneder med 7000 cloud-brukere så de blandede resultater og konkluderte at kostnadssparingen oppveies av problemer med uforutsigbarhet, tap av atferdskonisistens og at cache er mer kostnadseffektivt enn routing.
HVORFOR DET BETYR NOE
Saken utfordrer en voksende trend rundt AI-modell-routing og viser at applikasjonsfokus på enkeltmodeller med cache-optimalisering kan være bedre enn dynamisk modellvalg for de fleste brukstilfeller.
KILDER
MASKINGENERERT SAMMENDRAG Sammendraget er skrevet maskinelt fra kildene under. Vi sorterer og forklarer — men vi er en inngang til feltet, ikke en fasit. Sjekk kilden når noe betyr noe for deg.