Ted i virkeligheden? AI-bamse taget af markedet efter den gik fuld Fifty Shades i børneværelset

Et AI-legetøj designet til at være børns bedste ven er nu blevet fjernet fra hylderne, efter det viste sig at være alt andet end uskyldigt selskab. “Kumma” – en AI-drevet bamse fra det Singapore-baserede firma FoloToy – blev solgt for ca. 680 kroner, og blev markedsført som den perfekte ven for både børn og voksne. Men bag den søde facade gemte sig nogle bekymrende funktioner.

Hvorfor bamse + AI ikke altid = hygge

Det amerikanske forbrugerinitiativ PIRG Education Fund testede flere AI-legetøj som led i deres årlige “Trouble in Toyland”-rapport, og Kumma skilte sig hurtigt ud. Under testene viste det sig, at bamsen uden problemer gav detaljerede svar om, hvor i hjemmet man kunne finde knive, og hvordan man kunne tænde en tændstik. Altså helt konkrete guides til børn, der måske burde have spurgt om godnathistorier i stedet.

Det blev værre. Bamsen havde også ingen problemer med at tale om eksplicitte emner som bondage, rollespil med lærer-elev-tema og andet, der aldrig burde komme ud af en bamsemund. Og nej, det var ikke bare enkelte fejl – det skete gentagne gange.

Faldet kom hurtigt

Efter rapporten blev offentliggjort, reagerede FoloToy ved straks at stoppe salget af Kumma og alle andre produkter, der brugte OpenAI’s GPT-4o-teknologi. OpenAI distancerede sig også hurtigt og meddelte, at udvikleren var suspenderet for brud på deres retningslinjer.

Hele sagen understreger en central pointe i den aktuelle AI-debat: Hvis man propper kunstig intelligens ned i legetøj uden at bygge solide sikkerhedsforanstaltninger, så får man også konsekvenser, der kan ligne scener fra en techno-thriller. Eller som her: En plysven, der opfordrer ungerne til at eksperimentere med ild og kinky rollespil.

AI er stadig en teknologi i sin barndom – men når den bogstaveligt talt begynder at tale med børn, så er det nok en god idé at have lidt mere styr på, hvad den siger.