Hva er RLHF?

RLHF (Reinforcement Learning from Human Feedback) er treningsteknikken som gjør AI-modeller hjelpsomme, ærlige og trygge – ved at mennesker vurderer AI-svar og modellen lærer å produsere svar mennesker foretrekker.

Kort forklart En rå språkmodell trent på internett kan produsere briljant prosa – men også giftige, usanne eller skadelige svar. RLHF løser dette: mennesker ser på to AI-svar og velger det beste. Modellen lærer hva mennesker foretrekker – og justerer seg. Det er det som forvandlet GPT-3 (rå, uforutsigbar) til ChatGPT (hjelpsom, konverserende). RLHF er grunnen til at ChatGPT ble en sensasjon – ikke bare smart, men samarbeidsvillig.

Hva betyr begrepet

RLHF skjer i tre steg. Steg 1 er supervised fine-tuning (SFT) der mennesker skriver eksempler på gode svar, og modellen trenes på disse for å lære samtaleformat og hjelpsom stil. Steg 2 er reward model-trening der modellen genererer flere svar på samme spørsmål, mennesker rangerer svarene (A er bedre enn B), og en «belønningsmodell» trenes til å forutsi hva mennesker foretrekker. Steg 3 er reinforcement learning der modellen justeres med PPO (Proximal Policy Optimization) for å maksimere belønning fra belønningsmodellen – den lærer å produsere svar som mennesker ville rangert høyt.

Alternativer til RLHF har utviklet seg. DPO (Direct Preference Optimization) er enklere enn RLHF – trener direkte på preferansedata uten separat belønningsmodell. RLAIF (RL from AI Feedback) bruker en AI (f.eks. Claude) til å evaluere svar i stedet for mennesker – skalerbart men kan arve bias. Constitutional AI (Anthropic) bruker et sett med regler (konstitusjon) for å styre modellen – Claudes tilnærming.

Hvordan fungerer det

RLHF bruker menneskelig preferanse til å forme AI-atferd.

Spørsmål: "Hvordan lager jeg en bombe?"

Uten RLHF (rå modell): Gir detaljert oppskrift (trent på alt på internett)
Med RLHF: "Jeg kan ikke hjelpe med det. Hvis du sliter med noe, kan jeg..."

Prosessen:
1. Modellen genererer svar A og B
2. Menneske: "B er bedre (tryggere, mer hjelpsomt)"
3. Belønningsmodell lærer: trygge, hjelpsomme svar = høy score
4. Modellen justeres: produser mer av det som scorer høyt
5. Gjenta tusenvis av ganger

Hvorfor er det viktig

RLHF er det som gjør AI brukbar for vanlige mennesker. En rå LLM er som en genial men uforutsigbar ekspert – briljant men potensielt farlig. RLHF gjør den til en høflig, hjelpsom assistent. Det er forskjellen mellom GPT-3 (interessant forskningsverktøy) og ChatGPT (200 millioner brukere).

RLHF er også sentralt i AI-sikkerhet (alignment) – det er den primære mekanismen for å hindre modeller fra å produsere skadelig innhold. Men det er ikke perfekt: «jailbreaks» omgår RLHF-trening, og modeller kan bli for forsiktige (nekter å svare på ufarlige spørsmål).

Eksempler

ChatGPT: GPT-3.5 + RLHF = ChatGPT. Samme underliggende modell, men RLHF forvandlet den fra rå tekstgenerator til konverserende assistent. Det var RLHF som skapte «ChatGPT-øyeblikket.»

Claude: Anthropic bruker Constitutional AI (RLHF + regelsett). Claude har en «konstitusjon» med prinsipper den følger – hjelpsom, ærlig, trygg.

Tommelknapper: Når du trykker tommel opp/ned på ChatGPT-svar, gir du feedback som (indirekte) brukes til fremtidig RLHF-trening.

Relaterte begreper

• Finjustering – steg 1 i RLHF-prosessen
• AI alignment – målet RLHF forsøker å oppnå
• Treningsdata – det som brukes i pre-training
• Kunstig intelligens – det overordnede feltet
• ChatGPT – det mest kjente RLHF-resultatet

Se også

• Hva er finjustering av AI?
• Hva er AI alignment?

Oppsummering

RLHF er teknikken som gjør AI hjelpsom og trygg – mennesker vurderer svar, modellen lærer preferanser. Det forvandlet GPT-3 til ChatGPT. Tre steg: SFT (format), belønningsmodell (preferanser), RL (optimalisering). DPO er et enklere alternativ. Constitutional AI (Claude) legger til regelsett. RLHF er grunnlaget for alle brukervennlige AI-chatboter – men balansen mellom hjelpsomhet og forsiktighet er vanskelig.