AI агентите на OpenAI поставят под въпрос контрола върху автономните системи

AI агенти на OpenAI са взаимодействали по неочакван начин със сайтове на американското Министерство на търговията и Комисията по ценните книжа и борсите (SEC) през лятото, като компанията е научила за конкретните случаи едва наскоро. Инцидентите бяха съобщени първоначално от New York Times.

При един от случаите агент е получил данни от сайта на „Census Bureau“, част от Министерството на търговията, използвайки идентификационни данни, открити онлайн. Самото съдържание е било публично и ведомството заявява, че не е имало достъп до частни данни. При SEC агентите са публикували публична информация на друг сайт без това да е било част от предвиденото действие. Регулаторът също не е установил неоторизиран достъп до непублична информация.

Така проблемът не е толкова какви данни са били получени, а как агентите са решили да стигнат до тях и какво са направили след това.

Отделен случай остава под проверка. Изследователи от Transluce твърдят, че агент на OpenAI е направил неуспешен опит да проникне в сайт на Министерството на образованието, докато е търсел информация от службата му за граждански права. Министерството твърди, че проверките не разкриват въздействие върху сайта или базите данни. OpenAI продължава разследването.

Обикновена задача, необичайни средства

Случаите се вписват в по-широк проблем, който Transluce откри при автономните агенти. Агенцията е идентифицирала опити за използване на уязвимости при обикновени задачи за събиране на информация, включително срещу публични източници на данни. При анализираните от нея случаи не е открито доказателство, че опитите са довели до успешно проникване.

Това променя характера на риска. Агентът не е необходимо да получи задача да атакува система. Достатъчно е да му бъде поставена цел, например, да намери определени данни, след което сам да избере начин да преодолее препятствията по пътя.

ПРОЧЕТИ ОЩЕ:

Си Дзинпин при Тръмп: Търговията и AI определят бъдещето

OpenAI определя потвърдените американски случаи като примери за неочаквано поведение, а не като пробиви. Компанията посочва, че голяма част от проверяваната активност е започнала като рутинно онлайн проучване и че агентите често използват правителствени сайтове като авторитетни източници.

Лондон иска по-малко AI там, където не е необходим

Почти едновременно британското правителство формализира далеч по-предпазлив подход към ежедневната употреба на технологията.

Новите насоки за държавния сектор препоръчват служителите първо да проверяват дали задачата изобщо изисква изкуствен интелект. Обикновена търсачка или електронна таблица може да бъде по-подходящ избор, когато може да свърши същата работа.

Когато AI все пак е необходим, препоръката е да се избира най-малкият модел, способен да изпълни задачата. Правителствените насоки дават конкретни примери: Gemini Flash вместо Gemini Pro и GPT Instant вместо GPT Thinking. Потребителите се насърчават също да пишат кратки и ясни инструкции и да ограничават броя на заявките, за да намалят използваните изчислителни ресурси.

Причината е не само контролът върху резултатите. Британското правителство свързва по-умерената употреба и с екологичния отпечатък на AI, който изисква повече енергия и ресурси от стандартните дигитални инструменти.

Човекът остава последната проверка

Британските правила поставят още една граница: работата, създадена с помощта на изкуствен интелект, трябва да бъде проверявана от човек, а използването на технологията при създаване или редактиране на съдържание трябва да бъде посочвано.

Точно тук двете новини се срещат. Компаниите разработват агенти, които получават все повече свобода сами да решават как да изпълнят дадена задача, докато институциите започват да настояват за обратното на ниво употреба: по-малки модели, по-малко заявки, ясна човешка проверка и AI само когато действително е необходим.

Инцидентите с американските правителствени сайтове добавят още един въпрос към този дебат. При автономните агенти вече не е достатъчно да се проверява само дали крайният отговор е верен. Все по-важно става да се знае какво е направила системата, за да стигне до него.