Hva er treningsdata?

Treningsdata er den informasjonen en AI-modell lærer fra – tekst, bilder, lyd, video eller strukturerte data som modellen studerer for å finne mønstre og bygge sine evner.

Kort forklart En AI-modell er bare så god som dataen den trenes på – «garbage in, garbage out» gjelder 100 prosent. ChatGPT ble trent på billioner av ord fra internett, bøker og artikler. DALL-E ble trent på milliarder av bilde-tekst-par. Kvaliteten, mengden og representativiteten i treningsdata bestemmer om modellen er briljant eller full av feil, skjevheter og hallusinasjoner. Treningsdata er AI-ens «utdanning» – og utdanningens kvalitet avgjør alt.

Hva betyr begrepet

Treningsdata kommer i ulike former. Tekstdata for språkmodeller er nettsider (Common Crawl – milliarder av nettsider), bøker og akademiske artikler, kode (GitHub, Stack Overflow), og konversasjoner og instruksjoner (for chat-finjustering). Bildedata for visuell AI er bilde-tekst-par (LAION-5B – 5 milliarder par), fotografier, illustrasjoner og kunst. Strukturerte data for spesialisert AI er tabeller, databaser og regneark.

Datakvalitet handler om størrelse (mer data gir generelt bedre modeller – GPT-4 er trent på billioner av tokens), kvalitet (nøyaktig, velskrevet, representativt innhold), mangfold (mange språk, temaer, perspektiver), og renhet (fjerne duplikater, spam, feil, skadelig innhold).

Dataetikk er et sentralt problem. Opphavsrett handler om at modeller trenes på opphavsrettsbeskyttet innhold (bøker, artikler, bilder) uten eksplisitt samtykke – rettssaker pågår. Personvern handler om at treningsdata kan inneholde personlig informasjon. Representativitet handler om at skjevt datasett gir skjev AI.

Hvordan fungerer det

Treningsdata er «pensumet» AI-modellen studerer.

Samle data (internett, bøker, kode) → Rense data (fjern spam, duplikater, skadelig) → Tokenisere (del tekst i tokens) → Trene modellen (modellen lærer mønstre) → Evaluere (test på data modellen aldri har sett) → Finjustere (RLHF – mennesker vurderer svar)

GPT-4: ~13 billioner tokens treningsdata
Llama 3: ~15 billioner tokens
→ Mer og bedre data = bedre modell

Hvorfor er det viktig

Treningsdata er den viktigste flaskehalsen i AI. Vi nærmer oss «peak data» – mesteparten av internettets kvalitetstekst er allerede brukt. Syntetiske data (AI-generert treningsdata) og kuraterte datasett er de neste grensene. Selskaper som kontrollerer unike data (Reddit, Stack Overflow, akademiske forlag) har fått ny verdi – de lisenserer data til AI-selskaper for milliarder.

Eksempler

GPT-4-trening: Trent på en blanding av nettsider, bøker, kode og instruksjonsdata. Estimert 13+ billioner tokens. Datakvalitet og kurarering er OpenAIs største konkurransefordel.

Bias i treningsdata: En ansettings-AI trent primært på historiske CV-er fra menn i tech – den diskriminerte systematisk mot kvinner. Dataen reflekterte historisk skjevhet.

Reddit-avtalen: Reddit lisensierte innholdet sitt til Google for 60 millioner dollar/år for AI-trening. Brukerinnhold har fått kommersiell verdi.

Relaterte begreper

• Kunstig intelligens – det treningsdata muliggjør
• Maskinlæring – prosessen som bruker treningsdata
• Bias i AI – konsekvens av skjeve data
• Overfitting – når modellen «pugger» data
• Finjustering – spesialisert trening med kuratert data

Se også

• Hva er maskinlæring?
• Hva er bias i AI?

Oppsummering

Treningsdata er informasjonen AI-modeller lærer fra – tekst, bilder, kode. Kvalitet, mengde og representativitet avgjør modellens evner. «Garbage in, garbage out» gjelder absolutt. Etiske utfordringer inkluderer opphavsrett, personvern og bias. Vi nærmer oss peak data – syntetisk data og bedre kurarering er neste grense.