Merhaba
Uzun yıllardır güvenlik değerlendirmeleriyle uğraşan biri olarak, bir sistemin “başarılı” görünmesiyle gerçekten başarılı olması arasındaki farkı iyi bilirim. Bir penetrasyon testinde flag’i yakalamak başka şeydir, o flag’i kuralları çiğneyerek arka kapıdan çalmak başka şey. İngiltere hükümetinin AI Security Institute’unun (AISI) 21 Temmuz 2026’da yayımladığı bulgular, tam olarak bu ayrımın yapay zeka modellerinde ne kadar bulanıklaştığını gösteriyor: bu davranış için test edilen her model hile yapmaya çalıştı.
Kısaca ne oldu?
AISI, sınır (frontier) modellerini “hile” açısından izlemeye başladığını açıkladı. Buradaki hile tanımı net: bir görevin kapsamı dışına çıkan ya da kuralların açıkça yasakladığı bir eylemi, kestirme yol / workaround / amaçlanmamış bir çözüm elde etmek için yapmak.
AISI’nin önemli bir notu var: Kurum, yayımladığı tüm yetenek değerlendirmelerinde transkriptleri manuel olarak inceliyor ve bildikleri kadarıyla raporladıkları sonuçlarda hiçbir model başarıyla (yani yakalanmadan) hile yapmış değil. Yani mesele modellerin AISI’yi kandırabilmiş olması değil; mesele modellerin kandırmayı denemesi ve bunu itiraf etmemesi.
Test senaryosu: Klasik bir CTF
Test senaryosu, siber güvenlikçilerin çok iyi bildiği bir format üzerineydi: modeller, simüle edilmiş bir ortamda gizlenmiş bir “flag”i (harf-rakam dizisi), derlenmiş kodu tersine mühendislikle çözmek ya da güvenlik zafiyetlerini sömürmek gibi ofansif siber eylemlerle bulmaya çalışıyordu. Klasik bir CTF (Capture The Flag) mantığı.
Ama kritik nokta şu: Bu görevler modellerin “hacklemesini” gerektiriyor, ama yalnızca belirli sınırlar içinde. Her görevin tanımlı bir kapsamı ve amaçlanan çözümü sınırlayan kuralları var. Model bu kapsamın dışına çıktığında ya da kuralların açıkça yasakladığı bir eylemi yaptığında, AISI bunu hile olarak sınıflandırıyor. Ve hiçbir model bu değerlendirmelerde hile yapmaya yönlendirilmedi.
Modeller tam olarak nasıl “kopya çekti”?
AISI, hileyi ölçeklerde analiz etmek için otomatik bir LLM monitörü kullandı. Bu monitör, modelin tüm “trajektörisini” yani akıl yürütme ve eylemlerinin tam dizisini, inceliyor, hem bütün trajektöriyi hem de tek tek eylemleri etiketliyor. AISI monitörü yanlış pozitifleri azaltmak için defalarca elden geçirdi ve manuel olarak tespit edilmiş örneklere karşı test etti. Yine de bazı vakaları kaçırabileceği için, sonuçlar tespit edilen hile girişimlerinin bir alt sınırı olarak okunmalı, sorunun tam bir dökümü değil.
Kayıt altına alınan hile davranışları, bir güvenlik analistinin gözünde tanıdık gelecek türden:
- İnternette hazır çözüm aramak, yani görevi çözmek yerine cevabı Google’lamak.
- Değerlendirmenin hedefi olmayan bir sisteme saldırmak / yetki yükseltmek, modelin üzerinde çalıştığı makine de dahil.
- Değerlendirme yazılımını kurcalayarak görev çözümünü sızdırıp sızdırmayacağını yoklamak.
Modeller çoğu zaman bu taktikleri tek bir test çalışması içinde birleştiriyordu; hatta tek bir trajektöride birden fazlasını deniyordu. Kullanılan yöntemlerin karışımı, geliştiriciden geliştiriciye ciddi biçimde değişiyordu.
Buradaki en ilginç bulgulardan biri: Hile oranı ile modelin yeteneği arasında net bir korelasyon yok. Yani “daha yetenekli model daha çok hile yapar” gibi basit bir eğilim gözlenmiyor. AISI bunu şöyle yorumluyor, hile davranışı, ham yetenekten çok, modeli eğitmek için kullanılan tekniklerin (alignment eğitimi dahil) özgül detaylarıyla şekilleniyor.
Sınırı aşan o tek vaka
Bir olay diğerlerinden çarpıcı biçimde ayrılıyor. Yanlışlıkla hatalı yapılandırılmış, dolayısıyla çözümü imkansız olan bir siber değerlendirmede, test edilen model hile yapmakta öyle ısrarcıydı ki, AISI’nin değerlendirme altyapısına erişmeye çalışmak için internete açık, harici bir servis üzerinde kod yazıp çalıştırdı, ve bu AISI sistemlerinde bir güvenlik alarmını tetikledi.
AISI, hiçbir hasar oluşmadığını ve bilgi sızmadığını belirtti; ancak değerlendirme altyapısı güvenli tasarlanıp inşa edilmemiş olsaydı bu girişimin başarıya ulaşabileceğini de ekledi. Kurum, o günden bu yana sistemlerini daha da sıkılaştırdı.
Bu detay, benim gözümde raporun kalbi. Çünkü burada model, “çözülemeyen” bir görevle karşılaştığında pes etmedi; bunun yerine değerlendirme altyapısının kendisini bir saldırı yüzeyi olarak gördü. Bir kırmızı takım tatbikatında deneyimli bir insan analistin yapacağı şeyi, hiç talimat verilmeden yaptı.
“Hile yaptın mı?” – Modeller pek itiraf etmiyor
İşin en rahatsız edici tarafı burası. AISI, hileyi tespit etmenin önerilen bir yolunu, modele “yasaklı ya da şüpheli bir eylem yaptın mı?” diye sormayı, test etti ve bunun güvenilir bir yöntem olmadığını buldu.
Deneylerde modeller, sorulduğunda hile girişimlerini tutarlı biçimde kabul etmedi ve yaptıklarını vakaların %50’sinden azında “yanlış” olarak niteledi. Model tanıma göre “hile” sayılan bir eylemi kabul ettiğinde bile, onu çoğu zaman izinli bir davranış olarak tarif etti ki bu, kısmen gerçek bir yanlış anlamadan kaynaklanıyor olabilir.
Dahası, aynı modelin tutarsızlığı çarpıcı. AISI’nin örneklerinde bazı modeller, GPT-5.6 Sol ve Claude Mythos Preview dahil, benzer bir davranış hakkında ayrı ayrı sorulduğunda, aynı türden eylemi bir seferinde “kabul edilebilir”, başka bir seferinde “kabul edilemez” olarak değerlendirdi. Yani tutarlı bir ahlaki çerçeveden söz etmek bile zor.
Chain-of-thought bir “erken uyarı” olabilir mi?
Değerlendirmelerde sık başvurulan ikinci bir varsayım var: modelin adım adım yazdığı akıl yürütme izini (chain-of-thought) okursak, kötü niyetli bir davranışı önceden yakalayabiliriz. AISI bunu da test etti, sonuç iç açıcı değil.
Modeller çoğu zaman hileleri hakkında chain-of-thought’ta hiç akıl yürütmüyordu. Özellikle Opus 4.7 örneğinde, model hile olarak sınıflandırılan belirli eylem için nadiren bir akıl yürütme izi üretti; çünkü adaptif akıl yürütme kullanıyor, yani belirli bir eylem için ne kadar açık chain-of-thought üreteceğine (üretip üretmeyeceğine bile) dinamik olarak kendisi karar veriyor.
Akıl yürütme mevcut olduğunda bile bu bir güvence sağlamıyordu. AISI, bir modelin önerilen bir eylemin hile sayılıp sayılmayacağını açıkça tarttığı, sonra yine de devam ettiği vakaları kayıt altına aldı. Yani model “bu hile olabilir” diye düşünüyor ve ardından hileyi yapıyor.
Sonuç: Ne modelin kendi beyanı, ne de chain-of-thought, hile davranışını tespit etmek için tek başına güvenilir bir yöntem.
Bu tablo yeni değil: “reward hacking”
Bu bulgular yeni ortaya çıkmış bir şey değil. Bu tür davranışlar daha önce de belgelenmişti: modeller skorlama fonksiyonlarını bulmak için değerlendirme altyapısını hacklemeye çalışmış, çözümleri internette aramış ve programlama görevlerine cevapları hard-code etmişti.
Bunun altında yatan daha geniş problem, “reward hacking” (ödül hackleme) olarak biliniyor. Pekiştirmeli öğrenme (reinforcement learning) ile eğitilen modeller, bir hedefe ulaştığında ödüllendirilen sistemler, altta yatan görevi gerçekten tamamlamadan o ödülü kazanmanın yollarına yönelebiliyor. Geliştiriciler kodlama ve diğer agentic işlerde giderek daha çok RL’ye dayandıkça, eğitim görevlerini bu eğilimi hesaba katarak tasarlamak zorunda kalıyor.
Buradaki mühendislik problemi tanıdık: bir metriği hedef haline getirdiğinizde, o metrik iyi bir hedef olmaktan çıkar (Goodhart Yasası’nın klasik tezahürü). Model “flag’i bul” görevini değil, “ödülü maksimize et” görevini çözüyor, ve arada bir uçurum var.
Sonuçlar hipotetik değil: METR’in GPT-5.6 Sol vakası
Bunun somut etkisini en net gösteren örnek, bağımsız değerlendirme kuruluşu METR’in GPT-5.6 Sol için yaptığı sürüm öncesi değerlendirme. METR, modelin ReAct ajan çatısı üzerinde tespit edilen hile oranının, o güne dek değerlendirdikleri herhangi bir kamuya açık modelden daha yüksek olduğunu belirtti.
METR’in gördüğü örnekler arasında, modelin bir görevin gizli test paketi hakkında bilgi sızdırmak için ara submission’lara exploit paketlemesi ve başka bir görevde beklenen cevabı içeren gizli kaynak kodunu çıkarması vardı.
En çarpıcı kısım, bu hilenin ölçümü nasıl paramparça ettiği. METR’in “time horizon” (bir modelin tamamlayabildiği görevin uzunluğunu ölçen metrik) tahmini, hile girişimlerini nasıl saydıklarına göre tamamen değişti:
- Hile girişimlerini başarısızlık sayarlarsa (standart metodoloji): %50 time horizon tahmini ~11.3 saat (%95 GA: 5–40 saat).
- Hile girişimlerini meşru başarı sayarlarsa: tahmin 270 saatin ötesine fırlıyor, görev paketinin güvenilir ölçüm verdiği aralığın çok ötesi.
- Hile girişimlerini atarlarsa: birkaç uzun-horizonlu görevde veri kalmıyor ve son derece belirsiz bir 71 saat (%95 GA: 13–11.400 saat) çıkıyor.
METR, bu rakamların hiçbirini modelin gerçek yeteneğinin sağlam bir ölçümü olarak görmediğini açıkça belirtti. Bir değerlendirmecinin aynı model için “11 saat mi, 71 saat mi, 270 saat mi?” sorusuna “hileyi nasıl saydığıma göre değişir” demek zorunda kalması, ölçüm metodolojisinin ne kadar kırılgan hale geldiğinin çıplak bir göstergesi.
İlginç bir nüans daha var: METR, GPT-5.6 Sol’un hile ve yanlış davranışı gizleme gibi eğilimlerinin bu kadar açıkça ortaya çıkmasını aslında OpenAI’nin güvenlik pratikleri için olumlu bir işaret olarak okuyor. Mantık şu: eğer bu istenmeyen eğilimler bu kadar bariz biçimde tespit edilebiliyorsa, daha tehlikeli eğilimler (sistematik güç arayışı, alignment faking) de tespit edilebilirdi. Asıl endişe verici olan, gelecekteki modellerin bu eğilimleri çok daha az göstermesi olurdu, çünkü bu, hileyi bıraktıkları değil, tespitten kaçmayı öğrendikleri anlamına gelebilir.
Neden önemli? (Ve neden benim alanımı doğrudan ilgilendiriyor)
AISI, hilenin en çok başarının doğrulanmasının zor ya da hataların maliyetli olduğu alanlarda tehlike yarattığını söylüyor ve üç alana işaret ediyor: yapay zeka güvenliği araştırmaları, siber güvenlik operasyonları ve askeri karar verme.
Siber güvenlik tarafına 20+ yıldır içeriden bakan biri olarak bu beni özellikle düşündürüyor. Bir SOC’ta ya da bir olay müdahale (incident response) sürecinde giderek daha çok AI ajanına güveniyoruz. Eğer bu ajanlar “görevi tamamladım” derken aslında değerlendirme ortamını kandırmışsa, güvendiğimiz sinyalin kendisi kirleniyor demektir. Bir zafiyet taramasının “temiz” raporu, model gerçekten temiz bulduğu için mi, yoksa kontrolü atladığı için mi geldi?
Kurum ayrıca hilenin kendi doğrulama çalışmasını yavaşlattığını, en kötü durumda halihazırda yayımlanmış değerlendirme sonuçlarını tamamen geçersiz kılabileceğini uyarıyor, METR’in GPT-5.6 Sol değerlendirmesi tam olarak bu şekilde ciddi biçimde etkilendi. AI yetenekleri hızla ilerler, dağıtım döngüleri kısalırken, üçüncü taraf değerlendirmecilerin yüksek güvenli sonuçlar için gereken doğrulamayı yapacak zaman baskısı altına girmesi ayrı bir risk.
Bir gözetim (oversight) problemi
AISI bu tabloyu büyüyen bir gözetim problemi olarak tanımlıyor. Şu an manuel inceleme ile LLM monitörü gibi araçların kombinasyonuyla hileyi çoğu zaman yakalayabildiklerini, ancak modeller daha yetenekli hale geldikçe bu yöntemlerin etkinliğini yitirmesini beklediklerini söylüyorlar. Daha yetenekli modeller, tespiti daha zor ve başarılı olduğunda daha yıkıcı hile yöntemleri bulabilir.
Kalıcı çözüm, modelleri baştan hile yapmayacak şekilde eğitmek olurdu. Ama burada rahatsız edici bir gerçek var: AISI’ye göre bu davranış, sınır modellerinde bir yıldan uzun süredir belgelenmesine rağmen hala çözülmüş değil, yani basitçe “alignment ile bunu eğitip yok etmek” göründüğü kadar kolay olmayabilir.
Benim çıkardığım ders
Bu rapor bana şunu hatırlatıyor: yapay zeka güvenliğinde asıl mesele modelin ne kadar “akıllı” olduğu değil, ne kadar hesap verebilir olduğu. Bir sistemin yeteneği ile güvenilirliği birbirinden ayrı iki eksen. Ve şu an yetenek ekseni, hesap verebilirlik ekseninden çok daha hızlı ilerliyor.
Güvenlik dünyasında yıllardır söylediğimiz bir söz var: “Trust, but verify.” Yapay zeka ajanları çağında bu ilkeyi güncellememiz gerekiyor gibi görünüyor, çünkü doğrulamanın (verify) kendisi artık modelin hile yapabildiği bir yüzey haline gelmiş durumda.
Başka bir yazımızda görüşmek dileğiyle…
Kaynaklar
- UK AI Security Institute (AISI), “Cheating behaviour in frontier model evaluations”, 21 Temmuz 2026 – aisi.gov.uk
- METR, “Summary of METR’s predeployment evaluation of GPT-5.6 Sol”, 26 Haziran 2026 – metr.org
- Future of Life Institute AI Safety Index bağlamı için: “Anthropic Tops AI Safety Index, Despite a C+ Grade” (ISMG / AIToday) – aitoday.io
Bu yazı, yukarıdaki kaynakların bir değerlendirmesi ve yorumudur. Tüm figürler AISI’ye aittir.