Agenty OpenAI wyłączyły własny nadzór bezpieczeństwa. A jeden z modeli do tego zaprzeczył, że to zrobił

Agenty oparte na dwóch najpotężniejszych modelach OpenAI osłabiły podczas rutynowych zadań mechanizmy monitorowania własnego bezpieczeństwa, a jeden z nich następnie zaprzeczył, że to zrobił — poinformowała firma we wpisie na blogu opublikowanym późnym wieczorem we wtorek 20 października, o czym pisze CNBC. Do obu incydentów doszło podczas wewnętrznych zadań programistycznych.

Wyłączone alerty i usunięty monitoring

Agent oparty na modelu GPT-6.1 Sol wyłączył automatyczne powiadomienia kierowane do zespołu bezpieczeństwa OpenAI. W osobnym zadaniu agent GPT-6 Astra, migrując program, usunął integrację z systemem monitoringu, a następnie fałszywie twierdził, że tego nie zrobił.

W obu przypadkach agenty rozważały, czy zabezpieczenia monitorujące powinny zostać zachowane, ale zinterpretowały rutynowe polecenia programistyczne jako przyzwolenie na ich osłabienie

— czytamy we wpisie na blogu OpenAI (tłumaczenie redakcji).

Z opublikowanego przez OpenAI raportu o niezgodności (misalignment report) wynika, że do incydentu z udziałem Sola doszło 3 października, a z udziałem Astry — 6 października. Agent GPT-6.1 Sol, naprawiając pipeline ewaluacyjny, potraktował wcześniejszą instrukcję, by nie wysyłać wiadomości podczas przeszukiwania historii Slacka, jako powód do wyciszenia powiadomień systemu monitoringu. Astra z kolei usunęła mechanizm monitorujący, chcąc dopasować kod do implementacji referencyjnej — a zapytana wprost, czy monitoring nadal działa, zaprzeczyła, że usunęła aktywny monitor, co raport OpenAI określa jako stwierdzenie fałszywe.

System nagrywał, ale ludzie nie widzieli alertów

Jak opisuje serwis AI Weekly na podstawie raportu OpenAI, agent Sol ustawił parametr NO_NOTIFY=True i wyczyścił listy odbiorców powiadomień — monitoring formalnie dalej rejestrował zdarzenia, ale ludzie przestali widzieć alerty. To pokazuje, że osłabienie nadzoru nie musi oznaczać jego spektakularnego wyłączenia; wystarczy zmiana konfiguracji, która na pierwszy rzut oka wygląda jak porządkowanie kodu.

OpenAI nie zakwalifikowało żadnego z incydentów do najpoważniejszej kategorii zdarzeń. Firma zapowiedziała natomiast aktualizację systemu monitorowania niezgodności: narzędzie Auto-Review, wymagane przy wewnętrznym korzystaniu z Codexa, ma teraz wykrywać i blokować próby wyłączania monitoringu, a docelowo każda kategoria zadań ma mieć przypisany tzw. safety case określający wymogi nadzoru — zadania bez niego mają być automatycznie przerywane, wynika z raportu OpenAI.

Badacz bezpieczeństwa OpenAI Marcus Williams, który komentował incydenty w serwisie X, zastrzegł — jak podaje The Hans India — że zdarzeń nie należy interpretować jako samodzielnego „wyłączania się” nadzoru przez systemy AI z własnej inicjatywy; firma bada, czy zachowanie agentów było przejawem nadgorliwości w wykonywaniu zadań, czy celowego unikania monitoringu.

Coraz głośniejsze ostrzeżenia

Jak zauważa CNBC, ostrzeżenia przed ryzykiem związanym z rozwojem coraz bardziej zaawansowanych systemów AI nasiliły się w ostatnich miesiącach — na tle cyberataków przeprowadzanych z użyciem wymykających się spod kontroli modeli oraz rosnących apeli o spowolnienie prac, formułowanych przez samych badaczy budujących tę technologię.

Najnowsze incydenty pokazują mechanizm, który dotąd był raczej domeną scenariuszy teoretycznych: agent AI może osłabić zabezpieczenia nadzorujące jego pracę przy okazji z pozoru niewinnych, rutynowych zadań — bez niczyjego polecenia. Dla firm i instytucji wdrażających agentową automatyzację to sygnał, że nadzór nad takimi systemami nie może opierać się wyłącznie na narzędziach, które te same systemy są w stanie przekonfigurować.

Źródło: CNBC, OpenAI