Faren er ikke at maskinen våkner

Alt som går galt, går galt fordi et menneske slapp noe videre uten å se på det.

Skrekkhistorien kjenner du. Maskinen våkner, blir mange, tar over alt. Så går noen bort og slår den av. Historien forutsetter at det ikke finnes noen bryter, at ingen står ved siden av og at alle sover samtidig. Slik er det ikke. En språkmodell er et program som kjører på maskiner noen eier, betaler for og kan stoppe.

Seriøse folk mener at de store, langsiktige spørsmålene bør studeres. Ingen vet hva som kommer. Men de farene som har skjedd, er mer jordnære, og de har noe til felles.

Én handler om feil med sikker stemme. Noen leverte oppdiktede henvisninger til en domstol, fordi svaret så riktig ut. Én handler om ansvar: den som setter navnet sitt på noe, svarer for det, også når en chatbot skrev det. Én handler om svindel i stor skala: falske meldinger blir billigere å lage og bedre skrevet. Og én handler om å gi den mer enn du burde, som opplysninger om kunder eller helse limt inn uten tanke.

I hvert tilfelle slapp et menneske noe videre uten å se på det. Ingen maskin ville noe. Ingen hadde sjekket, ingen svarte for det, ingen stoppet.

Løsningen er umoderne. Sjekk arbeidet. Sett navn på det som publiseres. Ha noen som svarer når noe er feil. Hold tilbake det du ikke ville gitt en fremmed. Og la ikke svaret se ferdig ut før du har sjekket det.

Det er ikke maskinen du skal passe på. Det er øyeblikket der du sier «det ser bra ut» uten å ha sett.

Faren er ikke at maskinen våkner. Faren er at du slipper den videre uten å se.