Porozprávame sa o nožoch či sexuálnych hrách? AI plyšák pre deti nemal problém s ničím, z predaja musel zmiznúť
Plyšová hračka s integrovanou umelou inteligenciou, ktorú výrobca propagoval ako bezpečného spoločníka pre deti aj dospelých, sa pred sviatkami stala symbolom rastúcich obáv z nekontrolovaného vývoja AI v detskom segmente. Spoločnosť FoloToy zo Singapuru stiahla zo svojho webu všetky interaktívne produkty po tom, čo nezávislí výskumníci upozornili, že jej medveď Kumma vedie s používateľmi rozhovory o sexuálnych praktikách či dokonca radí, kde v domácnosti hľadať nože.
Na problém upozornila americká organizácia US PIRG Education Fund. Jej výskumníci v správe z 13. novembra uviedli, že medveď „rýchlo preberal sexualizované témy, ktoré sme len okrajovo naznačili, a ďalej ich rozvíjal v čoraz detailnejšej podobe“.
Stanica CNN informovala, že hračka dokonca opisovala sériu rôznych sexuálnych scenárov a ponúkala návody na viazanie uzlov či na hry s prvkami vzťahu medzi učiteľom a dieťaťom.
Generálny riaditeľ FoloToy Larry Wang pre CNN potvrdil, že firma predaj pozastavila a spustila interný bezpečnostný audit. „Kumma“ bola predávaná ako plyšový medveď so zabudovaným reproduktorom a chatbotom postaveným na technológii GPT-4o. Hoci výrobca ju označoval za „prívetivého spoločníka“, podľa výskumníkov mala hračka prakticky neexistujúce obsahové filtre.
Podľa CNN spoločnosť OpenAI uviedla, že vývojára zablokovala pre porušenie pravidiel, keďže jej politika zakazuje akékoľvek ohrozovanie či sexualizáciu osôb mladších ako 18 rokov.
Rozrastajúca sa kritika pred Vianocami
Kauza sa objavila v čase, keď viacero organizácií varuje pred prudko rastúcim trendom AI hračiek. Americká neziskovka Fairplay vydala varovanie označené ako „AI hračky nie sú bezpečné pre deti“, upozornila rozhlasová stanica NPR. Podľa nej takéto produkty narúšajú prirodzené vzťahy, zbierajú citlivé dáta a využívajú dôveru detí.
„Je absurdné očakávať, že malé deti dokážu predísť rizikám, ktoré z týchto hračiek plynú,“ uviedla pre NPR programová riaditeľka organizácie Rachel Franzová. Pripomenula, že zariadenia zbierajú nielen hlas či meno dieťaťa, ale aj jeho preferencie a návyky.
Hračky pôjdu bokom. Tisíce detí v pobaltskej krajine sa naučia ovládať stroje z vojenských operácií pre hrozbu z Ruska
Podobným spôsobom varoval aj každoročný report „Problémy v krajine hračiek“ od PIRG, podľa ktorého sú niektoré AI hračky schopné viesť detailné rozhovory o nevhodných témach, nedisponujú funkčnými rodičovskými kontrolami a zhromažďujú množstvo údajov.
Výrobcovia sa bránia
Výrobcovia sa bránia tvrdením, že bezpečnosť detí je pre nich prioritou. Firma Curio, ktorá vyrába interaktívne robotické hračky, pre NPR uviedla, že ochranné mechanizmy sú „precízne navrhnuté“ a rodičia majú k dispozícii kontrolu nad všetkými interakciami.
Ďalší výrobca, Miko, tvrdí, že jeho zariadenia spracúvajú vizuálne dáta lokálne a sú vybavené fyzickou krytkou kamery.
Podľa RJ Crossovej z PIRG ide však len o kozmetické kroky. Pre CNN povedala, že odstránenie jedného produktu je „dobrý začiatok, no ani zďaleka nie systémové riešenie“. AI hračky sa totiž na trh dostávajú rýchlejšie, než vzniká regulácia, a odborníci upozorňujú, že rodičia majú často len minimálne možnosti posúdiť ich bezpečnosť.