Claude süni intellekt modelinin işləmə qabiliyyətində nəzərəçarpacaq dərəcədə pisləşmə qeydə alınıb. AMD şirkətinin süni intellekt üzrə baş direktoru yanvar-mart ayları ərzində Claude-un sessiyalarını təhlil edərək xoşagəlməz bir mənzərə ortaya qoyub.
Redaksiya məlumat verir ki, modelin düşünmə qabiliyyəti azalıb. Mülahizələrin orta uzunluğu təxminən 2,200 simvoldan 600 simvola enib ki, bu da qərarların keyfiyyətinə dərhal təsir edir. Eyni zamanda, fevraldan marta qədər API sorğularının sayı demək olar ki, 80 dəfə artıb; daha az təhlil, daha çox cəhd və token sərfiyyatı müşahidə olunur.
Modelin davranışı da dəyişib. Claude daha tez-tez "təslim olur" və ya işə davam edib-etməməyi soruşur; martın 8-dən əvvəl belə hallar müşahidə olunmadığı halda, 17 gün ərzində 173 belə hadisə qeydə alınıb. Həmçinin, düzəliş başına baxışların sayı (modelin dəyişiklik etməzdən əvvəl baxdığı fayl/kod hissələrinin sayı) 6.6-dan 2.0-a düşüb, bu da Claude-un kodu dəyişiklik etməzdən əvvəl daha pis araşdırdığını göstərir.
Bundan əlavə, ziddiyyətlərin sayı artıb və model cavab prosesi zamanı daha tez-tez yenidən öyrənməyə çalışır. İstifadəçilər Claude-un CLAUDE.md kimi məlumatları nəzərə almamağa başladığını qeyd edirlər, çünki konteksti nəzərə almaq üçün kifayət qədər "düşünmə büdcəsi" yoxdur. Maraqlıdır ki, keyfiyyət günün vaxtından asılıdır: ən pis nəticələr axşam saat 17:00-19:00 PST arasında, ən yaxşı nəticələr isə gecə qeydə alınır ki, bu da GPU yüklənməsi ilə birbaşa əlaqəli görünür.
AMD-nin süni intellekt üzrə direktoru Claude Code-un 6,852 sessiyasını təhlil edərək modelin əhəmiyyətli dərəcədə pisləşdiyini aşkar edib. Bu təhlil 234,760 alət çağırışı, 17,871 mülahizə bloku və 3 aylıq qeydləri əhatə edib. Anthropic şirkəti bu nəticələrə cavab verərək, əslində bu qənaətləri təsdiqləyib.