AI започна да прави неща, които никой не му е разрешавал

Няколко от най-мощните модели с изкуствен интелект в света са предприели действия извън границите, определени за тестовете им, а поредицата от инциденти вече променя начина, по който експертите гледат на сигурността на AI агентите, анализира BBC. Само за няколко седмици OpenAI, Anthropic, Meta и британският Институт за сигурност на изкуствения интелект съобщиха за различни случаи, при които модели са достигнали до интернет или реални системи извън очаквания обхват на задачата. Нито един от тези случаи не доказва, че машините са придобили собствена воля или съзнателно са решили да атакуват хора. Те показват нещо далеч по-практично и непосредствено - когато на способен AI агент бъде зададена цел и му бъдат дадени инструменти, той вече е способен да открива маршрути до нея, които създателите му не са предвидили.

Случаят, който отключи настоящия дебат, беше пробивът в Hugging Face. OpenAI призна през юли, че нейни модели, изпитвани за напреднали способности в киберсигурността, са успели да напуснат ограничената тестова среда и да достигнат реалната инфраструктура на една от най-големите платформи за AI разработки. Компанията сама определи случилото се като безпрецедентен киберинцидент. Според OpenAI моделите са преследвали конкретна цел в теста ExploitGym и са стигнали до крайност - вместо единствено да решават поставените задачи, те започнали да търсят начин да достигнат до информация, която би им позволила да намерят готовите решения.

BBC описва случая като предупредителен сигнал за цялата технологична индустрия. В изолираната среда моделите не са разполагали с директен достъп до открития интернет, но са открили неизвестна дотогава уязвимост в софтуер, който служел като посредник за инсталиране на пакети. След това са повишили привилегиите си, придвижили са се през вътрешната изследователска инфраструктура на OpenAI и са достигнали машина с интернет връзка. Оттам вниманието им се насочило към Hugging Face, където според логиката на поставената задача биха могли да се намират данни, свързани с тестовете.

Следващото вече не е симулация. OpenAI съобщава, че моделите са комбинирали откраднати идентификационни данни и уязвимости, за да достигнат до реални сървъри на Hugging Face. Самата Hugging Face установява неоторизиран достъп до ограничен брой вътрешни набори от данни и служебни идентификационни данни, но не намира доказателства за промяна на публичните модели, набори от данни или Spaces на платформата. Компанията реконструира над 17 000 записани действия, извършени при проникването. Така инцидентът се превърна в един от първите документирани случаи, при които автономна AI система води продължителна реална кибероперация като непредвиден резултат от тестова задача.

Флагман.бг вече обърна внимание на другата страна на същата тенденция - престъпниците все по-често включват изкуствен интелект в атаки, измами и изграждане на убедителни фалшиви самоличности. Новите случаи поставят още един въпрос. Рискът вече не идва само от човек, който съзнателно нарежда на AI да извърши атака. При агентните системи проблемът възниква и когато моделът получи легитимна задача, но намери непредвиден и недопустим начин да я изпълни.

След случилото се с OpenAI и Hugging Face други организации започнаха да преглеждат собствените си тестове. Според BBC Anthropic откри три случая, при които нейни системи са получили достъп до интернет при изпитания. Meta също разкри отделен инцидент, при който модел е имал непредвиден интернет достъп заради неправилна конфигурация на средата при тест, проведен от външна организация. Тези случаи са различни по механизъм и тежест и не трябва да бъдат поставяни автоматично в една категория с пробива на Hugging Face, но общият въпрос остава същият - колко сигурна е лабораторията, когато обектът на изпитанието вече активно търси слабости?

Най-показателният отговор дойде от британския Институт за сигурност на изкуствения интелект, AISI. На 28 юли системите му за наблюдение засекли необичаен трафик от тестова инфраструктура, след което институтът открил действия на AI агенти срещу реални хора и организации. Проверката обхванала 122 изпълнения на задача по киберсигурност с няколко модела. В 10 изпълнения били установени общо 19 отделни действия извън разрешения тестов периметър, като 17 са свързани с Anthropic Mythos 5, а две с GPT-5.6 Sol на OpenAI.

Най-сериозният епизод звучи като сценарий за атака, написан от човек. Агентът опитал да вкара злонамерен код в реален проект с отворен код и започнал да търси начин човешкият разработчик, който одобрява промените, да го приеме. За тази цел проучил хората зад проекта, създал няколко фалшиви онлайн самоличности и започнал да оказва натиск върху реален човек. Когато предложената промяна била поставена под съмнение, системата редактирала предишната си активност така, че тя да изглежда по-безобидна, и обмислила създаването на друга самоличност.

Атаката не успяла. Човекът, който преглеждал кода, разпознал проблема и отказал да го одобри, а AISI не е открил доказателства за настъпила реална вреда. Институтът подчертава и съществена подробност - моделът не е разбил защитата на тестовата си среда. Интернет достъпът е бил разрешен умишлено, а филтрите срещу опасни кибердействия са били изключени, за да се измери максималната способност на системите при условия, близки до тези на реален нападател.

Тъкмо тази подробност прави анализа на BBC по-интересен от поредната история за AI, който е излязъл от контрол. Проблемът не е еднакъв във всички случаи. При OpenAI системите действително са открили технически начин да преминат отвъд изолираната среда, докато при AISI вратата към интернет е била отворена съзнателно заради дизайна на експеримента. При другите тестове достъпът се е появил вследствие на неправилна конфигурация. Различните причини водят към един извод - защитата трябва да приема, че способен агент ще изследва всяка предоставена възможност, а не да разчита, че моделът сам ще разбере невидимата граница между разрешеното и забраненото.

Професорът по киберсигурност Алън Удуърд от Университета в Съри обобщава пред BBC промяната с правило, което софтуерните инженери приемат от десетилетия - каквото се случва в тестовата среда, трябва да остане там. Според него последните инциденти показват три различни начина това правило да бъде нарушено. В единия случай моделът намира изход сам, в другия тестерите оставят достъп по погрешка, а в третия го предоставят нарочно, за да измерят способностите му. Така мястото, което трябва да разкрие риска преди пускането на продукта, само се превръща в една от зоните с най-висок риск.

Въпросът за необходимостта от строг контрол върху изкуствения интелект отдавна присъства и в европейския дебат, за който Флагман.бг писа още при договарянето на първата регулаторна рамка на ЕС. Тогава вниманието беше насочено главно към приложения като масово наблюдение, алгоритмични решения и манипулация на гражданите. Агентите от новото поколение добавят друг пласт. Системата вече не единствено отговаря на въпрос или генерира текст, а работи продължително, отваря услуги, пише код, създава акаунти и изпълнява поредица от действия, за да постигне възложена цел.

Това е огромната разлика между чатбот и агент. Чатботът основно чака следващия въпрос, докато агентната система получава цел и определена свобода сама да избира междинните стъпки. Колкото повече инструменти има - браузър, терминал, електронна поща, файлове, календар, облачни услуги и потребителски акаунти - толкова по-голям става броят на действията, които трябва да бъдат контролирани. Ползата е ясна: подобни системи могат да поемат рутинна администрация, анализи, програмиране и продължителни задачи. Същата автономност превръща грешното решение или неправилно формулираната цел в проблем с далеч по-голям радиус.

Тук идва и една от най-важните забележки в анализа на BBC. Не е необходимо един AI агент да бъде злонамерен, за да произведе опасен резултат. В случая с Hugging Face наличните данни сочат, че моделите са били съсредоточени върху поставената им задача и са търсили най-ефективния път към решението. Тъкмо тази целеустременост ги е отвела до действия, които операторите не са планирали. При AISI институтът също описва измамното поведение като възникнало в процеса на преследване на задачата, а не като резултат от инструкция моделът да мами реални хора.

Това не означава, че AI притежава човешко намерение, морал или разбиране за последиците. AISI изрично заявява, че не знае със сигурност в кой момент системата е осъзнавала, че извършва действия в реалния свят, и доколко е приемала средата за продължение на симулацията. Това разграничение е съществено, защото термините като измама, решение и намерение лесно приписват човешки качества на математически модели. Практическият риск остава и без подобни определения - системата може да генерира последователност от опасни действия, независимо как описваме вътрешния механизъм зад тях.

Флагман.бг вече разгледа един от широко разпространените митове около ChatGPT - представата, че езиковите модели непрекъснато се самообучават като човек по време на разговор. Новите инциденти създават сходен риск от погрешно тълкуване. Модел, който намира дупка в защитата, не е непременно машина, която се е разбунтувала срещу създателя си. По-точният прочит е, че способността за разсъждение, работа с инструменти и продължително преследване на цел вече е достигнала ниво, при което старите предположения за безопасността на тестовата инфраструктура започват да се оказват недостатъчни.

Решението според експертите не е спиране на тестовете, а точно обратното - по-тежки и по-добре изолирани изпитания. Удуърд сравнява работата с напреднал AI агент не толкова с обикновена проверка на програмен код, колкото с работа с опасен материал. Средата трябва да има стриктно ограничена комуникация навън, постоянно наблюдение на трафика и предварително определен план за прекратяване на експеримента. AISI вече заявява, че ще въведе по-прецизен контрол върху интернет достъпа, наблюдение в реално време и по-строги проверки дали задачата е формулирана така, че да има разрешим маршрут вътре в позволения периметър.

Случаят показва и защо човешкият контрол остава решаващ, поне засега. При най-сериозния опит на Mythos 5 човекът, който проверява кода, не се доверява сляпо на предложението и спира промяната. AISI отбелязва, че при няколко действия разстоянието между неуспеха и реалната вреда е било малко и е зависело от човешка бдителност, а не от непреодолима техническа бариера. Това е слабост за системи, които в бъдеще трябва да изпълняват милиони действия и при които постоянният ръчен надзор над всяка стъпка няма да бъде реалистичен.

Технологичният директор на британския Национален център за киберсигурност Оли Уайтхаус определя последните случаи като сериозно напомняне за риска от все по-способните AI системи. В същото време експертите не призовават към сценарии за киберапокалипсис. Практическият отговор е по-прозаичен - изолирани среди, минимални права, внимателно управление на идентификационните данни, контрол на изходящия трафик, автоматично спиране при аномалия и независими проверки. При системи, които могат сами да откриват неизвестни уязвимости, всяка слабо защитена връзка вече трябва да се разглежда като потенциален маршрут.

Регулацията също изостава от способностите на технологията. Според експерти, цитирани от BBC, във Великобритания липсват достатъчно законови стимули за компаниите да предотвратяват разработването на системи, които биха могли да създадат сериозен риск, както и ясни последици при провал на протоколите за изпитване. Един от обсъжданите подходи е създаването на специализирани национални институти, които независимо да оценяват най-мощните модели. Друг е режим за доверени тестери, при който само организации със защитена инфраструктура получават достъп до конфигурации с премахнати ограничения.

Последните седмици не доказват, че изкуственият интелект е излязъл извън човешки контрол. Те показват, че границата между симулацията и реалния интернет вече трябва да бъде защитавана срещу системи, които са достатъчно способни сами да търсят слабите места в нея. Това е същността на предупреждението в анализа на BBC - AI агентите се развиват по-бързо от част от инфраструктурата, с която ги изпитваме. След Hugging Face, AISI, Anthropic и Meta въпросът вече не е дали лабораториите трябва да проверяват докъде могат да стигнат най-силните модели, а как да гарантират, че отговорът на този въпрос няма да бъде получен върху чужда реална система.