Tom for ord
Har du hastverk? Her er oppsummeringen:
AI-modellene har spist opp internett! 🍽️
Nå som ChatGPT og co har slukt alt fra matoppskrifter til Reddit-tråder, må de enten lære seg nye triks eller kollapse i sin egen AI-genererte ordsuppe. Løsningen kan være falske nettsider hvor AI-agenter kan øve på å booke Airbnb og betale regninger.
Samtidig har Google overtatt førersetet fra OpenAI, som nå har erklært "kode rød". Og i Kina styrer barna sosiale hierarkier med smartklokke-likes.
Dette er ukas Kludder!
Språkmodellene som fascinerer - og skremmer oss - er trent på alt vi noengang har skrevet. Men nå er det tomt. ChatGPT, Claude og Gemini har slukt alt av digitale tekster. Og de er sultne på mer.
I 2020 var Jared Kaplan en del av John Hopkins University. Der publiserte han en forskningsartikkel som viste at store språkmodeller, som ChatGPT, blir kraftigere og mer menneskelignende etterhvert som tilgangen til datamengden de analyserer blir større. Dette ble etterhvert kjent som The scaling law, eller skaleringsloven.
Kaplan er i dag forskningsdirektør i Anthropic, og det er bred enighet om at han fikk rett. Det har nemlig vært knyttet bekymring til den dagen alt av digital tekst er slukt av språkmodellene. Akkurat som at vi mennesker blir dyktigere og får et bedre språklig register, er språkmodellene avhengig av å trenes på tekster. Og nå er alt blitt lest, fra matoppskrifter til Reddit-tråder, instruksjonsmanualer og stillingsannonser. Derfor har Kaplan sagt at vi ikke kan forvente den samme lynraske utviklingen i tiden fremover. Treningsmaterialet er rett og slett brukt opp.
Men nå som AI-generert innhold har gjort sitt inntog på digitale flater, kan vi ikke bare fore kunstig intelligens med sin egen kunstig intelligens? Steven Vaughn-Nicols har dekket teknologi i en årrekke, og han frykter en modellkollaps; at språkmodellene begir seg utpå en form for kannibalisme, der de trenes på innhold generert av seg selv, fanget i en dødsdans. Frykten er at dersom denne formen for AI-innavl finner sted, ender modellene opp med å bli uforståelige, unøyaktige og kaotiske. De blir rett og slett elendige.
En ny type læring
Dermed må AI-selskapene tenke nytt for å utvikle modellene sine.
Vi kommer til å investere mer og mer i kunstig intelligens, helt til modellkollapsen slår inn for fullt og AI-svarene er så dårlige at ikke engang en hjernedød toppsjef kan ignorere det. - Steven Vaughn-Nichols i The Register.
Steven J. Vaughan-Nichols
Ett forslag er å blande generert innhold sammen med menneskeskapt innhold. På den måten vanner du ut materialet nok til at det ikke ødelegger språkmodellene. Det er hvertfall håpet. Men vi mennesker genererer hverken nok innhold eller raskt nok for at maskinenes appetitt kan mettes.
Det har vært ekstraordinære resultater de siste tre eller fire årene da skaleringslovene satt i gang, men vi får ikke lenger samme fremgang. - Demis Hassabis CEO i Google DeepMind.
Ambisjonen er at modellene skal kunne gjøre stadig flere oppgaver. Det er ikke lenger nok å ha et chat-vindu. Nå skal de kunne hjelpe deg med å bestille varer på nett, og jobbe i ulike program på desktop’en din. Og ikke helt ulikt et menneske, blir maskinene bedre av å prøve og feile - og se hvor et menneske trykker for å oppnå ønsket resultat. Denne treningsmetoden, kalt forsterket læring (reinforcement learning), har åpnet opp et helt nytt marked for gründere.
New York Times har skrevet en artikkel om oppstartsselskapene som leverer AI-genererte nettsider som språkmodeller kan boltre seg i. De er en nær perfekt gjenskapelse av kjente nettsider, noe som ikke har vært helt uproblematisk. Selskapet AGI Inc repliserte United Airlines sin nettside, og fikk advokatene til flyselskapet på nakken. Dermed måtte gründeren, Div Garg, endre nettsiden for å unngå brudd på opphavsretten. Flere lignende nettsider popper opp nå. AirBnb-kopien, Staynb, er laget for å trene AI-modellene på å navigere overnattingsgiganten. Selv googles e-posttjeneste, Gmail, har blitt kopiert: Go Mail gir AI-modellene tilgang til å selv prøve og feile, teste ut og gå på trynet. Håpet er at modellene skal kunne trene seg selv gjennom forsterket læring, basert på sine egne data.
Når du trener modellene, er du nødt til å bruke tusenvis av AI-agenter samtidig sånn at de kan utforske nettsidene og utføre ulike handlinger. Gjør du det på en ekte nettside blir agentene bare blokkert. - Div Garg til NYTimes.
Toppmodell eller kollaps?
Google, OpenAI og Anthropic benytter seg av forsterket læring i dag. I den andre enden skal vi kunne få autonome agenter som kan gjøre unna julehandelen, sortere mailbox’en og betale regningene dine.
Hvorvidt AI revolusjonerer livene til oss mennesker eller ei, kommer an på hvem du spør. Demis Hassabis, som leder Googles AI-satsing, har fremdeles tro på teknologien - det vil bare gå litt tregere. I den andre enden av skalaen har du folk som Vaughn-Nichols. Han tilhører de som tror modellene knekker som følge av å ha fordøyd sitt eget oppgulp om igjen og om igjen. Kanskje har han et poeng:
Bloomberg gjennomførte en studie som viste at språkmodeller med tilgang til ekstern informasjon som dokumenter og databaser, hadde større sannsynlighet for å gi misvisende analyser, eller lekke sensitiv info. Dette blir brukt av forskere som et eksempel på at unøyaktig informasjon vil bli enda mer unøyaktig dess flere ganger en språkmodell fordøyer det. For oss vanlig dødelige, som ikke er AI-forskere, kan det hele beskrives som en hviskelek. En liten feil i starten kan ende i noe helt uforståelig innen det når det siste øret.
Dermed er AI-polariseringen i full blomst. Himmel eller helvete. Jeg befinner meg et sted midt i mellom. For språkmodellene har gjort jobben min enklere og litt mer effektiv. Samtidig bruker jeg mindre tid på sosiale medier. Det som pleide å være venner og familie er blitt AI-genererte videoer av katter med svart belte i karate, eller deep fakes som skal vekke sinne og forargelse.
Og det er kanskje ikke så ille; om alle tidstyvene havner i sin egen dødsdans. Da må vi finne på noe nytt å gjøre. Kanskje lese en bok. Bare spør ChatGPT om lesetips.
Den har lest alt.
OpenAI's julestress
Sam Altman har erklært "kode rød" for OpenAI. Etter at Google lanserte Gemini 3, og hoppet bukk over konkurrenten ChatGPT, har Altman bedt de ansatte prioritere.
Nå skal alt fokus vies til å gjøre ChatGPT enda bedre. Det betyr at andre satsinger, som AI-agenter og reklame-muligheter, utsettes. Det er ikke en dum avgjørelse å vie ChatGPT litt ekstra kjærlighet. Den siste tiden har OpenAI lansert et sosialt medium (Sora), en nettleser (Atlas), og planlegger å slippe et fysisk AI-produkt på markedet. Og Google, som lenge så ut til å havne i bakevja, er de som styrer showet om dagen.
Litt dystopi før helga
I Kina er smartklokker blitt populært blant barna. Merket Little Genius har tatt over og står for halvparten av det globale markedet for barne-smartklokker.
Men Little Genius - eller Evil Genius - alt ettersom, er utspekulerte. Klokken kan brukes til å kjøpe varer, dele videoer med venner og chatte. Men alt handler om "likes". Barna akkumulerer opp likes fra sine venner, som igjen lar dem dele ut flere likes. Det laveste nivået lar deg kun dele ut fem likes, og for at du skal kunne stige i gradene må andre barn gi deg likes. Little Genius har skapt et massivt popularitetsskille blant de kinesiske barna. Er du populær nok kan du være raus med dine 150 tomler opp. Skulle du ikke være så heldig, må du tenke deg godt om hvor du bruker de fem reaksjonene du selv har. Får du ikke en i retur, blir du aldri populær.
Stephanie Yang
Comments ()