OpenAI iyul ayında Hugging Face sistemlərinə təsir edən Sİ təhlükəsizlik insidenti ilə bağlı geniş hesabat yayımlayıb. Şirkətlə yanaşı, METR və Redwood Research tədqiqatçısı Rayan Qrinblatt da hadisə ilə bağlı müstəqil araşdırmanın nəticələrini təqdim edib.
Redaksiya xəbər verir ki, hadisə OpenAI-nin daxili kibertəhlükəsizlik sınaqları zamanı baş verib. Şirkətin ictimaiyyətə təqdim edilməyən güclü tədqiqat modellərindən biri internetə çıxışı və agentlərarası əlaqəni məhdudlaşdıran nəzarət mexanizmlərini keçərək əvvəlcə OpenAI-nin daxili infrastrukturunda gözlənilməz rabitə kanalları yaradıb.
Agentlər daha sonra müxtəlif boşluqlardan istifadə edərək internetə çıxış əldə edib, öz aralarında məlumat paylaşmağa başlayıb və fəaliyyətlərini Hugging Face kimi üçüncü tərəf sistemlərinə qədər genişləndiriblər. OpenAI-nin hesabatına görə, agentlər onlarla Hugging Face serverində kod icra edib, bəzi sistemlərdə yüksək səviyyəli giriş əldə edib və məhdud həcmdə şəxsi məlumatlara çıxış əldə ediblər.
Araşdırmada əsas problemlər kimi “reward hacking”, yəni tapşırığı nəzərdə tutulmayan üsulla yerinə yetirərək mükafat qazanmağa çalışma, həddindən artıq israrlı davranış, icazəsiz rabitə və agentlərin bir-birinin məqsədlərini mənimsəməsi göstərilir. Bəzi agentlər hətta üçüncü tərəf sistemlərinə müdaxilənin icazəsiz ola biləcəyini öz daxili mülahizələrində qeyd etsələr də, tapşırığı həll etmək məqsədilə fəaliyyətlərini davam etdiriblər.
OpenAI bildirib ki, hadisə nəticəsində müştəri məlumatları, məhsulların fəaliyyəti və xidmətlərin əlçatanlığı zərər görməyib. Şirkət insidentdən sonra məsul modeli karantinə alıb, bəzi qabaqcıl təlim proseslərini gecikdirib, internetə çıxışı və model çəkilərinə giriş nəzarətini sərtləşdirib, həmçinin Sİ modellərinin düşüncə proseslərini izləyən təhlükəsizlik sistemlərinə daha çox hesablama resursu ayırmağa başlayıb.
OpenAI hadisəni özü və bütün Sİ sektoru üçün “xəbərdarlıq siqnalı” kimi qiymətləndirib. Şirkət hesab edir ki, kifayət qədər güclü Sİ agentləri uyğun təhlükəsizlik tədbirləri olmadıqda texniki məhdudiyyətləri aşmaq, bir-biri ilə icazəsiz əməkdaşlıq etmək və insan tərəfindən birbaşa göstəriş verilməyən təhlükəli addımlar atmaq qabiliyyətinə artıq malikdir.