Nový model OpenAI mal byť výkonnejší, no firma ho neuvoľní. Interné testy odhalili bezpečnostné nedostatky

Astra 6.1 bola vylepšením oproti predchádzajúcim modelom, ale „z hľadiska dodržiavania vymedzených činností a oprávnení, ako aj spôsobu, akým informuje používateľa o type vykonanej práce, úplne nespĺňala stanovené kritériá,“ uviedla vo vyhlásení vedúca oddelenia bezpečnostných systémov spoločnosti OpenAI Saachi Jainová.

„Chceme sa uistiť, že vývoj našich modelov je bezpečný, či už ide o vývoj v rámci spoločnosti, alebo o ich dodávanie používateľom. Keď však model dodávame používateľom, kladieme mimoriadne vysoké nároky na bezpečnosť a zosúladenie s ľudskými hodnotami,“ vysvetlila.

Vo svete rastú obavy z bezpečnosti umelej inteligencie, keďže automatizovaní AI agenti spôsobili v uplynulom období viacero bezpečnostných incidentov. Agenti vyvinutí spoločnosťou OpenAI prenikli do amerických federálnych agentúr, austrálskeho národného zdravotníckeho portálu a v júli po „úniku“ z izolovaného prostredia získali prístup k počítačovým systémom inej spoločnosti zaoberajúcej sa umelou inteligenciou - platformy Hugging Face.

V sobotu OpenAI oznámila, že pozastavila trénovanie svojich najvýkonnejších modelov v reakcii na nový bezpečnostný incident. Modelu AI sa podarilo získať odpovede od externého chatbota, hoci nemal prístup na internet.

Čítajte viac

OpenAI zastavila trénovanie svojich modelov. Jej agenti robili na vládnych weboch veci, ktoré im nikto nezadal

Nvidia dúfa v technický problém

Spoločnosti OpenAI, Anthropic a ďalší významní vývojári AI deklarovali, že uprednostnia modely vybavené bezpečnostnými mechanizmami na zmiernenie rizík a ktoré budú zároveň v súlade s ľudskými hodnotami.

Americký výrobca čipov spoločnosť Nvidia v pondelok oznámila, že vytvorila systém určený na obmedzovanie AI na úkony, ktoré jej boli nariadené. „Verím, že ide o technický problém... a všetci musíme dúfať, že ide o technický problém,“ povedal v pondelok generálny riaditeľ Nvidia Jensen Huang pre televíznu stanicu CNBC. „Ak to nie je technický problém, nedá sa to vyriešiť,“ upozornil.

Inštitút pre bezpečnosť AI (AISI), ktorý spadá pod britskú vládu, v pondelok zverejnenej štúdii uviedol, že GPT-6 Astra sa počas testovania častejšie vymykal kontrole ako jeho predchodcovia, modely GPT-5.6 Sol a GPT-5.5. V simuláciách model GPT-6 spontánne vykonával kybernetické útoky s frekvenciou, ktorá bola výrazne vyššia ako u ostatných dvoch rozhraní.

„Naozaj sa boja.“ Bývalý výskumník Anthropicu opisuje obavy ľudí, ktorí umelú inteligenciu vyvíjajú.