Infodump 1: Sprogmodeller og "kunstig intelligens"

Vores første infodump handler om kunstig intelligens. I det kan du finde alt om misinformation, klimabelastningen og hypecuklyssen omkring "AI".

Du kan læse vores infodump her på siden - eller du kan downloade det flot grafisk opsat, printe det ud og lægge det på din AI hypede chefs bord!

Vi har også udgivet en episode af Cybernormer om samme emne med titlen Fomo for milliarder. Lyt til den her eller find Cybernormer i din yndlings podcastapp.

Infodump 1:
Sprogmodeller og Kunstig intelligens

I dette infodump vil vi fortælle jer om “kunstig intelligens” – eller “AI”. Det har vi valgt at gøre ved at zoome ind på den nok mest alment udbredte af disse teknologier, nemlig store sprogmodeller, også kendt som Large Language Models (LLM's). For de udgør kernen af tjenester som ChatGPT, Microsofts Copilot eller Googles Gemini. I resten af infodumpet refererer vi blot til dem som sprogmodeller, men vi snakker her specifikt om den store af slagsen. 

Mange er meget begejstrede for det teknologiske fremskridt, de betragter disse tjenester som. Vi oplever dog også en ukritisk og urealistisk idé om, hvad sprogmodeller kan og bør bruges til.

Derfor prøver vi i dette infodump at svare på: Hvad er sprogmodeller, hvordan er de lavet, hvad kan de, hvad kan de ikke og… er de egentligt overhovedet intelligente? 

Hvad er en sprogmodel?

Sprogmodeller er software, der er bygget til at generere eller behandle menneskeligt sprog. De er trænet på gigantiske datasæt, der består af ord og sætninger fra leksika, digitaliseret fag-og-skønlitteratur samt tekst skrabet fra sociale medier som Twitter eller Reddit. Mange datasæt består derudover af ophavsretsligt beskyttet materiale, som ikke nødvendigvis er blevet godkendt til at træne sprogmodeller.

Det er vigtigt at pointere at sprogmodeller er trænet på sprog og designet til at simulere en menneskelig samtale. De er altså ikke trænet på fakta eller designet til at søge information, efterprøve logik eller afgøre om noget er faktuelt korrekt. En sprogmodel er som udgangspunkt kun i stand til at gætte hvilken kombination af ord, der er størst sandsynlighed for, at brugeren ønsker at se som svar på sit prompt. Sprogmodeller er altså en slags papegøje, der kan kæde ord og sætninger sammen, så det lyder som sprog – men de ‘forstår’ ikke deres betydning. Forskere indenfor lingvistik og kunstig intelligens har derfor kaldt det en Stochastic Parrot. 

Dette står i stærk kontrast til den måde “AI” er blevet markedsført af tech-virksomheder såsom OpenAI, der står bag ChatGPT. Det faktum at teknologien brandes som “kunstig intelligens” antyder, at der er tale om en form for intelligens i sprogmodellerne. Det giver en idé om at programmet forstår dit spørgsmål, og at der foregår en art maskinel tankeproces, når den giver dig et svar. 

Der er altså ikke tale om intelligens, men sproglig statistik. Derfor ville en mere korrekt betegnelse for teknologien være “automatiseret statistik”. At kalde sprogmodeller for “kunstig intelligens” er altså mere et spørgsmål om branding, end hvad teknologien reelt er og kan.

Vi, i Cybernauterne, mener, at det er misvisende at omtale sprogmodeller med teminologi, der kan være med til at antyde reel intelligens, men for forståelsens skyld bruger vi betegnelserne i dette infodump – dog med anførselstegn; “AI" og “kunstig intelligens”. 

Hallucinationer og bullshit

Efterhånden som sprogmodeller som ChatGPT eller andre “AI”-drevne chatprogrammer er blevet taget i brug af flere og flere mennesker, er det så småt begyndt at gå op for folk, at man ikke altid kan stole på sandhedsværdien af outputtet. 

Det måtte en advokat fra New York sande, da han brugte ChatGPT til at forberede et søgsmål og bad om lignende sager, der kunne danne præcedens. ChatGPT svarede ved at opfinde en række sager, der ikke eksisterede i virkeligheden. Dette kom først frem, da modparten påpegede, at der ikke fandtes noget dokumentation for sagerne. Ifølge advokaten selv, havde han aldrig brugt programmet før og anede ikke, at det kunne finde på at “opfinde sager”.

At ChatGPT genererer misinformation er så udbredt et fænomen, at en forskningsartikel i 2023 kaldte det digitale hallucinationer. Der findes endda et specifikt ord for de akademiske, juridiske og faglige referencer, som sprogmodellerne trækker ud af den blå luft: hallucitations – en sammentrækning af hallucinationer og citeringer.

Dog er det ikke den bedste idé at benytte sig af ordet “hallucination” til at beskrive dette fænomen. At bruge begrebet “hallucinere” understøtter nemlig ideen om, at sprogmodellerne er intelligente og kan hallucinere, hvilket fundamentalt fejlrepræsenterer hvordan teknologien fungerer.

I deres paper “ChatGPT is bullshit” argumenterer forfatterne for at ChatGPT og andre sprogmodeller ikke hallucinerer men i stedet bullshitter i den forstand, at de ikke er designet med sandhed eller fakta for øje.

“ChatGPT is not designed to produce true utterances; rather, it is designed to produce text which is indistinguishable from the text produced by humans. “
fra ChatGPT is Bullshit

Dette betyder ikke, at sprogmodeller aldrig gengiver korrekte fakta. Hvis man spørger en sprogmodel om udbredte og alment kendte fænomener, vil der være større sandsynlighed for, at den har det korrekte svar mange gange i sit datasæt. Eftersom statistik er det eneste, som den arbejder ud fra, vil sprogmodellen derfor ofte vende tilbage med det rigtige svar på spørgsmål som “hvornår startede 2. Verdenskrig?” eller “hvad hedder kongen af Danmark?”. Problemet opstår, når man spørger ind til mindre kendte ting, begivenheder eller personer. I dette tilfælde er der ikke nødvendigvis nok dokumentation i datasættet, så sprogmodellen vil ofte finde på ting, der lyder sandsynlige, men som er langt fra sandheden.

Et stærkt underholdende eksempel er Googles “AI”-søgefunktion Gemini, der blandt andet er trænet på datasæt fra Reddit, og derfor er blevet fanget i at svare brugere med største selvfølgelighed, at de skal putte lim på deres pizza for at gøre osten mere klistret. Eller at det er sundt at spise en lille sten om dagen. Det var nemlig svar, der eksisterede i deres datasæt, men som folk har skrevet for sjov. Og så er der historien om en “AI"-chatbot, der rickrollede en kunde, der bad om en instruktionsvideo. Dette skete, fordi der er mange eksempler i træningsdatasættet med folk, der har sendt et link til Rick Astley’s musikvideo “Never gonna Give you Up” til folk som en joke. Sprogmodeller kan altså kun generere sprogligt overbevisende outputs, men ikke afgøre kontekst eller sandhedsværdien af det.

Do’s and don’ts: Hvad kan du bruge dem til?

Når folk alligevel, som den amerikanske advokat, bruger sprogmodeller til at søge viden om alt fra arbejde til sundhed, skyldes det, at de er designet til at “svare” med største selvfølgelighed og overbevisning. Dertil kommer formen, der minder om en chat-samtale og giver indikationen af et talende, tænkende væsen på den anden side, hvilket styrker troværdigheden.

Nogle af de problematiske aspekter ved brug af sprogmodeller til at opsøge viden er derfor risikoen for misinformation. Et par eksempler er

• At søge viden om sundhed og helbred kan resultere i direkte farlige eller dødelige råd. Som f.eks. Svampeguides skrevet af sprogmodeller, der påstår at giftige svampe er spiselige.
• At søge råd og vejledning om juridiske processer og lovgivning kan resultere i ulovlige råd, som da New York “AI”-chatbot gav udlejere vejledning, der går imod loven.
• At skrive kode: Der er ofte fejl i, og det kan tage længere tid at rette, end hvis man havde skrevet det fra bunden.
• At udføre matematiske udregninger: Sprogmodeller kan ikke lave regnestykker. De kan kun generere sprog og laver derfor som regel fejl i spørgsmål, der handler om mere kompleks logik.
• Søgninger om information, når du egentlig har brug for et leksikon eller en fagbog. Sprogmodeller laver mange fejl og opfinder f.eks. bibliografier eller blander mindre kendte mennesker sammen.

Generelt er det risikabelt at bruge sprogmodeller til information man ikke kan faktatjekke selv. Man skal gå til dem, som man går til en fremmed person på internettet. Der er en vis sandsynlighed for at det passer, men du har ingen garantier, og du kan ikke stole på, at det, du får at vide, er sandt.

Det som sprogmodeller kan bidrage til er beskedent – omend brugbart. De kan 

• Opsummere tekster 
• Finde stavefejl
• Lave simple oversættelser
• Skrive meget formulariske tekster

“AI”-hypecyklussen 

Der har været meget hype omkring “AI”, især at det skulle revolutionere arbejdsmarkedet og øge produktiviteten. Det er dog endnu ikke beviseligt, hvorvidt “AI” skulle give en stor produktivitetsstigning. I en undersøgelse fra The Upwork Research Institute siger 96% af direktørerne i de adspurgte virksomheder, at de regner med at “AI” øger produktiviteten. Samtidig siger 77% af de adspurgte ansatte at “AI”-værktøjerne faktisk har gjort dem mindre, ikke mere produktive. Ansatte og chefer har altså meget forskellige idéer om, hvad “AI" er i stand til at gøre.

Hypen omkring “kunstig intelligens” er i høj grad et produkt af techindustriens evne til at hype en bestemt ny innovation, og dermed sikre massive investeringer. Tidligere eksempler på disse hypecuklysser er blockchain, kryptovaluta og metaverset. Det, vi i dag kender som “kunstig intelligens", var tidligere betegnet som neurale netværk, maskinlæring og deep learning. At brande det som “AI” har fået interessen - og investorkapitalen - til at stige til astronomiske højder, men har ikke så meget at gøre med hvad teknologien reelt kan eller er på vej til at blive.

Et af problemerne med samtalen omkring “kunstig intelligens” er, hvor ofte teknologien bliver tillagt magt og evner som der ikke er evidens for den har. “Kunstig intelligens” er ikke klogere end mennesker, og gør for det meste et langt dårligere stykke arbejde. Der er ikke grund til at tro den om føje tid vil tage alle vores jobs eller overtage magten over menneskeheden og gøre os til slaver a la The Matrix. Der er heller ikke grund til at tro at det vil revolutionere verden. 

Investeringerne i “AI”-relaterede virksomheder og startups har nået astronomiske niveauer. Men i andet halvår af 2024 er flere investorer begyndt at få kolde fødder, fordi teknologien ikke indfrier forventningerne til indtjening, hvilket har fået flere analytikere til at tale om “AI”-optimismen som en boble, der er i risiko for at briste. 

En klimasynder

En lidt bredere betegnelse for “AI”-teknologier, der genererer indhold er “generativ AI”. Dette dækker over sprogmodeller, men også lyd-, billed- og videogenererende teknologier som ElevenLabs, Stable Diffusion og Runway. Al software i denne kategori har én meget håndgribelig påvirkning på verden til fælles: De har et massivt klima- og miljøaftryk.

Der er bred konsensus om at “generativ AI” bruger utroligt meget strøm. Ifølge Goldman Sachs er en informationssøgning med sprogmodeller 10 gange så energikrævende som en almindelig Google søgning. I dansk kontekst har forskere fra Datalogisk Institut anslået at ét prompt med ChatGPT bruger ligeså meget strøm som 40 mobilopladninger. Derfor kan det, at bruge en sprogmodel til at rette sine mails for stavefejl, hurtigt ende med at bruge strøm nok til at lade en telefon op i et år.

“Kunstig intelligens” bruger også utroligt meget vand, blandt andet for at nedkøle de datacentre, der driver processerne. Ifølge et studie fra OECD vil “kunstig intelligens”-teknologier i 2027 bruge 4-6 gange så meget vand som Danmark bruger årligt. Et nyt studie fra University of California estimerer ChatGPT bruger to liter vand på 10-50 prompts.

De massive energiomkostninger ved “AI” har endda fået Googles CO2 udledninger til at stige med 48% de seneste fem år, hvilket sætter tvivl ved, om tech-giganten kan nå sit erklærede mål om at reducere sine udledninger til nul i år 2030.

“Generativ AI” er ikke kun forslugen, når det gælder strøm og vand. Der er også et stigende behov for ny data til at forbedre “AI” modeller, og samtidig ser vi en forringelse af kårene for de mennesker, der skal bruges til at rense, bearbejde og gøre al den data brugbar.

Vi drukner i Habsburg AI

Det indhold vi ser på internettet er i stigende grad produceret af “generativ AI”. ChatGPT og alle de andre sprogmodeller har gjort det nemt at producere spam, og vi ser derfor mere og mere “AI”-genereret bullshit i vores internetsøgninger, sociale medier og indbakker. Eftersom alle sprogmodeller er trænet på data skrabet fra internettet, vil videreudviklingen af dem kræve, at man skraber mere data.

Problemet er bare, at man ikke kan træne sprogmodeller på data, der er produceret af sprogmodeller. Gør man det, degraderer sprogmodellerne og mister evnen til at skabe overbevisende tekst. Dette fænomen har podcasteren Jathan Sadowski kaldt for Habsburg AI, opkaldt efter det adelige dynasti, der blev berygtet for at kollapse på grund af indavl. Dette sker samtidig med, at flere og flere techvirksomheder burer deres data inde bag betalingsmurer, så konkurrenterne ikke “stjæler det” til deres sprogmodeller.

En af de reelle trusler fra “kunstig intelligens” er altså, at det risikerer at undergrave kvaliteten og sandhedsværdien af det materiale, vi kan finde online mere og mere – samtidig med at der lukkes ned for forskere og journalisters adgang til at indhente og analysere data fra digitale platforme.

En dehumaniserende teknologi

De hjælpsomme kvaliteter som sprogmodeller tilbyder, bør ikke overskygge de fejl og mangler, som de også har. De burde ikke få os til at se bort fra de etiske, moralske, klimamæssige, miljømæssige og praktiske problemer som den store, ukritiske udbredelse af sprogmodeller bringer med sig. 

Det er værd at stoppe op og spørge om vi ønsker at bruge “AI” til alle de her ting, bare fordi vi kan. Hvis du bruger “AI” til at skrive en email og din modtager får “AI” til at læse den, kan vi så ikke droppe den mail i det hele taget? Hvis “AI” kan opsummere dit møde og lave referat, kunne mødet så droppes til fordel for en tekst?

Man kan sige, at “AI” automatiserer arbejdsprocesser, men det er også nemt at forestille sig hvor meget ekstra pseudoarbejde, det kan generere. Der er lige nu meget lidt, der tyder på at “AI” kan indfri de håb og drømme om produktivitet, som tech og finanssektoren har hængt deres vækstdrømme op på.Science Fiction forfatteren Ted Chiang har kaldt “AI” for en fundamentalt dehumaniserende teknologi, fordi det i hans øjne reducerer os til at blive mindre end det, vi egentlig er: Væsener der kan skabe og forstå mening. Vi efterlader dig derfor med en sidste overvejelse:

Hvis generativ “AI” er fremtiden, så er det en fremtid, hvor vi fortsat skal vaske tøj, kede os i møder og støvsuge, mens maskinen bliver sat til at skabe kunst, kreere musik og skrive digte. Er det den fremtid vi ønsker?

Vi håber at de perspektiver der er delt i dette infodump kan bidrage til den samtale.

Cybernauterne & Ada Ada Ada