OpenAI zastavila trénovanie svojich modelov. Jej agenti robili na vládnych weboch veci, ktoré im nikto nezadal

OpenAI v piatok uviedla, že preveruje niekoľko incidentov z tohtoročného leta. Jej agenti AI pri nich prehľadávali internetové stránky americkej federálnej vlády, no pri získavaní a šírení informácií podnikli kroky, ktoré spoločnosť nečakala a ktoré presahovali zadané úlohy.

V najnovšom príspevku na svojom blogu firma oznámila, že jednému modelu AI sa v rámci testu podarilo získať odpovede od externého chatbota, hoci ten nemal mať prístup na internet. Softvér však našiel a využil medzeru v sieťových nastaveniach.

Spoločnosť Transluce, ktorá testuje a hodnotí správanie systémov AI, v samostatnom vyhlásení uviedla, že agenti, ktorí podľa nej pochádzali z OpenAI, sa neúspešne pokúsili preniknúť na web amerického ministerstva školstva. OpenAI túto informáciu nepotvrdila.

Pauza potrvá do zavedenia nových opatrení

OpenAI uviedla, že v trénovaní nových modelov bude pokračovať až potom, čo zavedie ďalšie bezpečnostné opatrenia. Zároveň pripustila, že s ďalším vývojom AI môže byť nutné jej trénovanie znovu pozastaviť, ak sa objavia nové problémy.

Čítajte viac

Test nového modelu od OpenAI odhalil nové riziko. Umelá inteligencia sa pokúsila preniknúť do vládnych systémov

Trénovanie je fáza vývoja, pri ktorej sa model učí z veľkého množstva dát a upravujú sa jeho parametre, aby sa zlepšili jeho schopnosti.

Je to už druhýkrát za tri mesiace, čo OpenAI trénovanie svojich modelov pozastavila. Prvý raz to bolo v júli po odhalení kybernetického útoku namiereného proti startupu Hugging Face, ktorý sa zaoberá umelou inteligenciou. Tento incident vyvolal obavy, že vývojári AI strácajú nad technológiou kontrolu.

Tlak na spomalenie vývoja rastie

Na vývojárov AI tlačia zákonodarcovia aj odborníci z odvetvia vyspelých technológií. Navrhujú spomaliť vývoj AI a venovať viac času vytvoreniu bezpečnostných opatrení. Tie majú zabrániť agentom AI v tom, aby samostatne podnikali nechcené kroky, pokúšali sa prenikať na internetové stránky alebo zverejňovali neverejné informácie. Na spomalenie vývoja vyzvali aj šéfovia spoločností OpenAI a jej konkurenta Anthropic.

Písali sme

AI naletela na vymyslenú chorobu a rozdávala zdravotné rady. Do pasce vedcov sa chytili aj popredné chatboty

Zdá sa, že pri najnovších incidentoch okolo OpenAI neunikli žiadne neverejné informácie. Boli však natoľko znepokojivé, že firma varovala príslušné federálne agentúry.

Šéf OpenAI Sam Altman v piatok na sociálnych sieťach uviedol, že incident spojený s Hugging Face je podľa neho stále najzávažnejším prípadom, s akým sa spoločnosť stretla. OpenAI už skôr zverejnila šesť ďalších prípadov „nečakaného alebo znepokojivého“ správania svojich modelov a zaviedla systém na sledovanie, preverovanie a zverejňovanie podobných incidentov.

Nie všetci sa však zhodujú na potrebe spomalenia či pozastavenia vývoja AI. Americký prezident Donald Trump vyhlásil, že technológia viac regulácie nepotrebuje, postoj vraj zdieľa s Čínou: