SAK · VERKTOY_
Inference Engineering-mesterskolen — Philip Kiely og Ali Taha fra Baseten
Latent Space-episoden dekker inference engineering som eget fagfelt, med Basetens ledere som diskuterer optimiseringer av åpne modeller for rask og pålitelig produksjonsdrift. De gjennomgår teknikker som kvantisering, speculative decoding, KV-cache-optimalisering og modellparallelisering, og viser konkrete eksempler som en GLM-5.2-eksperiment hvor mer aggressiv kvantisering økte gjennomstrømningen med 20 prosent.
HVORFOR DET BETYR NOE
Inference-optimalisering blir stadig viktigere for å gjøre AI-modeller praktisk brukbare og kostnadseffektive i produksjon, og representerer et eget teknisk område på tvers av alle selskaper som deployer AI.
KILDER
MASKINGENERERT SAMMENDRAG Sammendraget er skrevet maskinelt fra kildene under. Vi sorterer og forklarer — men vi er en inngang til feltet, ikke en fasit. Sjekk kilden når noe betyr noe for deg.