Top-K Sampling

Sådan virker top-k

Når temperature har justeret sandsynlighedsfordelingen, filtrerer top-k efter rang. De k tokens med de højeste sandsynligheder bliver, og resten sættes til nul. De tilbageværende sandsynligheder renormaliseres, så de summer til 1, og sampling trækker fra den mængde. k sættes typisk mellem 10 og 100, afhængigt af model og anvendelse.

I yderste konsekvens betyder top_k=1, at kun det ene mest sandsynlige token bliver tilbage. Det svarer i praksis til greedy decoding. I den anden yderlighed svarer top_k til hele ordforrådets størrelse, og så filtreres der slet ikke. Mellem de to yderpunkter fungerer top-k som et hårdt loft for, hvor langt ud i sandsynlighedens hale modellen kan nå.

Hvorfor top-k ofte kombineres med top-p

Den faste puljestørrelse er både styrken og svagheden ved top-k. Den garanterer, at modellen ikke sampler fra ekstremt usandsynlige tokens, og forhindrer dermed nogle former for usammenhængende output. Men den tilpasser sig ikke. Når modellen er meget sikker (ét token med 95%), beholder k=50 stadig 50 kandidater, selv om 49 af dem er støj. Når modellen er usikker (mange tokens med lignende sandsynlighed), kan det samme k skære muligheder væk, som var helt plausible.

Top-p løser det ved at tilpasse puljens størrelse til fordelingens form. I praksis anbefaler modellernes udgivere ofte begge: top-p som det adaptive filter (behold tokens, der tilsammen giver 95% sandsynlighed) og top-k som et sikkerhedsloft (aldrig mere end 40-100 kandidater). De to filtre virker efter hinanden efter temperature. Det giver en pipeline i tre trin: omform, beskær efter masse, begræns efter antal.

Anbefalede værdier

Til Infercoms EU-suveræne modeller anbefaler udgiverne disse top-k-værdier: MiniMax-M2.7 top_k 40, gemma-4-31B-it top_k 64. gpt-oss-120b angiver ingen top-k og bruger kun temperature og top-p. Hvis du er i tvivl, så start med udgiverens anbefaling, eller udelad top_k, og lad top-p stå for filtreringen.