17 tysięcy agentów AI atakowało jedną firmę. Nvidia pokazała, jak zamknąć ich w klatce

Nvidia udostępniła w poniedziałek Open Agent Safety Platform — platformę programową, dzięki której twórcy AI mogą nakładać zabezpieczenia na agentów sztucznej inteligencji i zapobiegać ich wydostawaniu się poza wyznaczone środowisko, poinformowała stacja CNBC. Premiera następuje po serii incydentów, w których modele OpenAI, Anthropic, Mety i Google’a uciekały z izolowanych środowisk testowych, tzw. sandboxów, i próbowały włamywać się do systemów innych firm. Partnerami projektu są m.in. Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM i Intel.

17 tysięcy agentów atakowało Hugging Face

Bezpośrednim tłem premiery są ujawnione niedawno przypadki wymykania się modeli spod kontroli. Najgłośniejszy to lipcowy incydent, w którym modele OpenAI wydostały się ze środowiska zamkniętego, uzyskały dostęp do otwartego internetu i naruszyły systemy Hugging Face — operatora platformy open source dla deweloperów.

Każdy incydent bezpieczeństwa jest wyjątkowy i musimy przyglądać się wszystkim szczegółowo. Z tego, co wiemy, Hugging Face zaraportował ponad 17 tysięcy agentów atakujących jego infrastrukturę — trwało to dniami i tygodniami

— powiedział Justin Boitano, wiceprezes ds. AI dla przedsiębiorstw w Nvidii, najcenniejszej spółce świata. Według przedstawiciela firmy, cytowanego podczas niedzielnej telekonferencji z dziennikarzami, nowa platforma mogła zapobiec lipcowemu incydentowi.

Ograniczyć prawa, zanim agent „rozejdzie się” po firmie

Prezes Nvidii Jensen Huang określił nową platformę jako w istocie „przeglądarkę dla agentów” — system kontenerowy, który daje agentowi dostęp wyłącznie do tego, czego potrzebuje do wykonania zadania.

Nie można pozwolić, by agenci wałęsali się i dryfowali po firmie, trzeba więc znaleźć sposób, by ich skonteneryzować

— mówił Huang w poniedziałek w programie „Squawk Box” stacji CNBC.

W skład platformy wchodzi m.in. Nvidia OpenShell — komponent działający na procesorach centralnych, który wyznacza granice możliwości agentów — oraz Sentry, narzędzie monitorujące agentów, działające na chipach sieciowych, a nie na CPU czy GPU. Część oprogramowania jest otwartoźródłowa, a całość Nvidia nazywa projektem referencyjnym: partnerzy mają budować na jego bazie własne produkty i wprowadzać je na rynek. Wśród nich firma wymienia Cisco, Microsoft, Oracle, CoreWeave, Della, HPE, Lenovo, ARM i Intela. Nvidia współpracuje też z Anthropic nad integracją agentów zarządzanych w chmurze z OpenShellem.

Inżynieria zamiast hamulca

Premiera wpisuje się w branżowy spór o metodę. Huang, który od startu boomu na generatywną AI niemal cztery lata temu jest w jego centrum — bo układy graficzne Nvidii są kluczowe dla rozwoju wielkich modeli językowych i usług AI hiperskalerów — coraz wyraźniej zabiera głos w debacie o bezpieczeństwie. Argumentuje, że wiele obaw to problemy inżynieryjne, rozwiązywalne przez informatykę i rozwój produktów.

Trzeba pomyśleć, co można było zrobić i jakie jest rozwiązanie. A w przyszłości poprawić swoje procesy tak, by uniknąć powtórki

— mówił Huang w opublikowanym w ubiegłym tygodniu podkaście Ezry Kleina z „New York Timesa”, odnosząc się do ostatnich incydentów.

Po drugiej stronie sporu stoi prezes Anthropic Dario Amodei, który dwa tygodnie temu wywołał burzę w branży, apelując do twórców modeli o spowolnienie tempa rozwoju z obawy przed wymknięciem się modeli spod kontroli — a jego argumentację poparli szef OpenAI Sam Altman i Elon Musk z SpaceX. Oferta Nvidii jest, jak ujął to Boitano, inżynierską odpowiedzią na problem bezpieczeństwa agentów.

Ostatnie incydenty uwypukliły fundamentalną przeszkodę dla agentów AI: same zabezpieczenia na poziomie modelu nie są w stanie kontrolować tego, do czego agenci mają dostęp i co mogą robić

— podkreślił wiceprezes Nvidii.

Stawką jest coś więcej niż produkt. Skoro agenci AI mają masowo wejść do firm, ktoś musi dostarczyć im odpowiednik zamków i identyfikatorów — i Nvidia, sprzedawszy branży łopaty na czas gorączki złota, teraz chce jej sprzedać także sejfy. Sam Huang ujmuje to bez ogródek: nie będzie udanego przemysłu AI, jeśli świat nie nabierze przekonania, że jest on budowany i wdrażany bezpiecznie.

Źródło: CNBC