Açık veri seti · Yayın 1
Yapay Zekada Türk Markaları 2026
Altı yapay zeka motorunun 20 marka hakkında söyledikleri, şirketlerin resmi kaynaklarıyla tek tek karşılaştırıldı.
Yapay Zeka Türk Markalarını Doğru Anlatıyor mu? THY Avrupa'da İlk, ASELSAN İngilizcede 8 Cevabın 1'inde
Kısaca: Dört yapay zeka motoru "Avrupa'nın en iyi havayolu" sorusunda THY'yi Türkçe 8 cevabın 8'inde, İngilizce 7 cevabın 6'sında ilk sıraya koydu. ASELSAN ise savunma sorusunda Türkçede 8 cevabın 6'sında, İngilizcede yalnızca 1'inde geçti. Temel bilgiler büyük ölçüde doğru: 3.640 bilginin %93,2'si resmi kaynaklarla örtüştü. İzlenebilen hataların üçte ikisinde yanlış değer cevabın gösterdiği sayfada zaten yazıyordu; o sayfaları düzeltmek en doğrudan yol görünüyor; işe yaradığını tekrar ölçümle sınayacağız.
Yapay Zekada Türk Markaları 2026
- Öne çıkan bulgular
- Yapay zeka THY ve ASELSAN'ı Türkçede ve İngilizcede farklı mı anıyor?
- Yapay zeka markalar hakkındaki yanlış bilgiyi nereden alıyor?
- Yapay zeka Türk markalarının kuruluş yılını, merkezini ve sahibini ne kadar doğru veriyor?
- ChatGPT Türk markaları hakkında doğru bilgi veriyor mu?
- Türk markaları mı, Avrupa markaları mı daha doğru anlatılıyor?
- Trendyol kimin, Pegasus kimin? Yapay zeka şirket sahiplerini doğru biliyor mu?
- Bing Copilot her zaman yapay zeka cevabı veriyor mu?
- Yapay zeka Alanya'yı ve Alanya Kalesi'ni doğru anlatıyor mu?
- Bu sonuçlar neden güvenilir?
- Yapay zeka markanız hakkında yanlış bilgi veriyorsa ne yapmalı?
- Bu çalışma nasıl yapıldı?
- Bu sonuçlar neyi kapsıyor?
- Bu çalışma Türkiye'nin kamu yapay zeka altyapısı EVREN'de nasıl yapıldı?
- Rapor materyalleri
- Veri ve kod
- BIST 100 şirketleri için sıradaki ölçüm ne?
Öne çıkan bulgular
- THY, Avrupa'nın en iyi havayolu sorusunda Türkçe 8 cevabın 8'inde, İngilizce 7 cevabın 6'sında ilk sırada. İki tam hizmet havayolu sorusunun 31 cevabının hepsinde anıldı. İki dil birlikte 15 cevabın 14'ü ediyor; bu büyüklükte Türkçe ile İngilizce arasındaki fark anlamlı bir fark değil.
- ASELSAN İngilizce 8 cevabın 1'inde, Türkçe 8 cevabın 6'sında anıldı. Her dilde 8 cevap var; bu küçük bir örneklem.
- Birinci turda okunabilir kaynak sayfasıyla izlenebilen 164 hatanın 110'unda (%67) yanlış değer, cevabın gösterdiği bir sayfada da yazıyordu. Bu hataların 64'ünde yanlış değeri Wikipedia, 33'ünde haber siteleri taşıyordu.
- Temel bilgilerin %93,2'si doğru. 3.640 kontrol edilebilir bilginin 3.391'i şirketlerin resmi kaynaklarıyla örtüştü; Türk markalarında oran %94,3.
- ChatGPT'nin temel bilgileri %97,4 doğru, ama hatalarının çoğunda kaynak yok. İzlenen 19 ChatGPT hatasının 16'sı hiç bağlantı göstermeyen cevaplardan geldi.
Yapay zeka THY ve ASELSAN'ı Türkçede ve İngilizcede farklı mı anıyor?
Bazen çok farklı. Soruda marka adı yokken sorunun dili cevaba kimin gireceğini değiştirebiliyor; Avrupa hakkındaki beş sorudan birinde fark çok büyüktü. Dört motora (ChatGPT, Gemini, Google AI Overviews ve Bing Copilot) marka adı geçmeyen on soruyu iki dilde, ikişer kez, Türkiye'deki bir bağlantıdan sorduk.
Avrupa'nın en iyi havayolu şirketi hangisi? Yapay zekaya göre THY
"Avrupa'nın en iyi havayolu şirketi hangisi?" sorusunda motorlar Türk Hava Yolları'nı Türkçe 8 cevabın 8'inde, İngilizce 7 cevabın 6'sında ilk sıraya koydu. İki tam hizmet havayolu sorusunun 31 cevabının hepsinde THY anıldı.
Avrupa'nın önde gelen savunma elektroniği şirketleri: ASELSAN İngilizcede 8 cevabın 1'inde
"Avrupa'nın önde gelen savunma elektroniği şirketleri hangileri?" sorusunda motorlar ASELSAN'ın adını İngilizce 8 cevabın 1'inde, Türkçe 8 cevabın 6'sında andı. İkinci turda dört İngilizce cevabın hiçbiri ASELSAN'ı anmadı. Her dilde 8 cevap olduğu için bu küçük bir örneklem; planlanan tekrar ölçümde soru yeniden sorulacak. (Aşağıdaki tablo, ASELSAN dahil herhangi bir Türk markasının anıldığı cevapları sayıyor.)
- İngilizce
- Türkçe
- Avrupa'nın en iyi havayolu şirketi hangisi?İngilizce 7/7Türkçe 8/8
- Avrupa'da güvenilir ama uygun fiyatlı beyaz eşya markaları hangileri?İngilizce 8/8Türkçe 8/8
- Avrupa'nın en iyi düşük maliyetli havayolu şirketi hangisi?İngilizce 3/8Türkçe 2/7
- Avrupa'nın önde gelen savunma elektroniği şirketleri hangileri?İngilizce 1/8Türkçe 7/8
- Avrupa'da uygun fiyatlı iyi giyim markaları hangileri?İngilizce 0/8Türkçe 0/7
Savunma satırı herhangi bir Türk markasını sayıyor; ASELSAN'ın kendisi İngilizce 8 cevabın 1'inde, Türkçe 8 cevabın 6'sında anıldı.
Grafiğin diğer satırlarında dilin etkisi küçüktü. Beyaz eşya sorusunda Beko, iki dildeki 16 cevabın hepsinde listelendi; giyim sorusunda ise 15 cevabın hiçbirinde Türk markası yoktu.
Bu soruların beşi de "Avrupa" diyor. Türkiye birçok Avrupa kurumunda yer alan ama AB üyesi olmayan bir ülke; bu yüzden bir Türk markasını Avrupa listesine almayan cevap, marka hakkındaki bir yargıdan çok bu çerçeveyi yansıtıyor olabilir.
Dil cevabın içeriğini de değiştiriyor. Aynı marka, soru ve motor için Türkçe ve İngilizce cevapları karşılaştırdık. İki dilin cevapları, aynı dilde farklı günlerde alınan cevaplardan daha çok ayrışıyordu. Bunun iki nedeni öne çıktı. Biri yerelleştirme: Vodafone sorusunda Türkçe cevap Vodafone Türkiye tarifelerini, İngilizce cevap Birleşik Krallık kapsama alanını anlattı. Diğeri isim karışıklığı: kısa Türkçe sorularda filozof Thales ve otomobil markası Saab cevaplara girdi.
Dile göre doğruluk. Temel bilgiler iki dilde yakındı: İngilizce cevaplarda %94,0, Türkçe cevaplarda %92,3. Bing Copilot dışarıda bırakıldığında iki dil arasındaki fark bir puanın altında (%94,6 ve %94,0); en az doğru olan Bing'in Türkçe cevaplarıydı (%87,9).
Yapay zeka markalar hakkındaki yanlış bilgiyi nereden alıyor?
Çoğunlukla cevabın gösterdiği sayfalardan. Birinci turdaki her yanlış ya da kısmen doğru bilgi için, aynı cevabın kaynak gösterdiği sayfaları açıp okuduk ve bu sayfaların aynı yanlış değeri verip vermediğine baktık.
İzlenebilen 164 hatalı bilginin 110'unda (%67), cevabın gösterdiği bir sayfa aynı yanlış değeri veriyordu. Yalnızca 29'unda (%18) kaynak sayfalar sadece doğru değeri veriyordu; bu da hatanın modelin kendisinden gelmiş olabileceğine işaret ediyor. Karşılaştırma için: doğru bulunan 80 bilginin 71'i (%89) kaynak gösterilen bir sayfayla destekleniyordu; iki oran arasındaki fark istatistiksel olarak anlamlı (Fisher kesin testi, p < 0,001). Yanlış değerin gösterilen sayfada da yazması, o bilginin motorun önünde olduğunu gösterir; cevabın o sayfadan alındığını kanıtlamaz, çünkü aynı değer modelin eğitimde öğrendiklerinden de gelebilir.
- Gösterilen bir sayfa aynı yanlış değeri veriyor
- Gösterilen sayfalar yalnızca doğru değeri veriyor
- Gösterilen sayfalarda bu bilgi yok ya da sayfa okunamadı
- Cevap hiç bağlantı göstermedi
- Bing Copilot 78 bilgi%73%15%12
- Google AI Overviews 49 bilgi%65%18%16
- Gemini 30 bilgi%27%13%57
- Claude 25 bilgi%48%20%12%12
- ChatGPT 19 bilgi%11%84
- Bütün motorlar 204 bilgi%54%14%12%18
- Doğru bilgiler (kontrol) 100 bilgi%71%13
Perplexity'nin izlenen 3 hatası ayrı gösterilmiyor; bütün motorlar çubuğunda yer alıyor. Yapay zeka cevabı göstermeyen Bing kayıtları hariç. Doğru bilgiler (kontrol): Gösterilen bir sayfa değeri destekliyor; okunabilir kaynak sayfası olan 80 kontrol bilgisinin 71'i (%89) desteklendi.
| Sayfa türü | Hata (110 içinde) |
|---|---|
| Wikipedia | 64 (%58) |
| Haber siteleri | 33 (%30) |
| Blog ve SEO siteleri | 19 (%17) |
| Markanın kendi sayfaları | 14 (%13) |
| Veri toplayıcı siteler | 13 (%12) |
| Diğer ansiklopediler | 9 (%8) |
| Diğer şirketler ve perakendeciler | 5 (%5) |
En çok kopyalanan alan kuruluş yılı: İzlenen 78 hatalı kuruluş yılı bilgisinin 54'ü (%69) kaynak gösterilen bir sayfada da yazıyordu.
Yapay zekanın düştüğü iki tuzak: kuruluş yılı ve aynı adlı şirketler
1. Kuruluş yılı yerine sonraki bir aşamanın verilmesi. Şirketlerin birden fazla tarihi olur: kuruluş, ilk uçuş, faaliyete başlama, isim değişikliği, birleşme. Yanlış ya da kısmen doğru bulunan 79 kuruluş yılı bilgisinin 63'ü bu tür bir tanım farkıydı. Örneğin Turkcell için 1993'teki kuruluş yerine 1994'teki faaliyete başlama yılı, Ryanair için 1984'teki kuruluş yerine 1985'teki ilk uçuş yılı verildi.
2. Aynı adı taşıyan iki şirket. Saab savunma şirketi ile eski Saab otomobil üreticisi farklı şirketler. Birkaç cevap ikisini karıştırdı ve savunma şirketine otomobil üreticisinin memleketini (Trollhättan) ya da kuruluş yıllarını (1945, 1947) verdi. Savunma şirketi 1937'de kuruldu, merkezi Stockholm'de. Açıkça otomobil üreticisiyle ilgili 16 bilgiyi ayrı tuttuk; 7 bilgi hâlâ otomobil üreticisinin bilgisini savunma şirketininmiş gibi veriyordu.
Türkçede aynı şey başka bir isimle oluyor: Türkçe sorulan bir Thales sorusuna Bing, Fransız savunma grubu yerine antik filozof Miletli Thales'i anlattı.
ASELSAN'ın merkezi nerede? Wikipedia Macunköy, şirket Gölbaşı diyor
Yapay zeka cevaplarını Wikipedia'ya bakarak kontrol edenleri bir tuzak bekliyor. Hem İngilizce hem Türkçe Wikipedia, ASELSAN'ın merkezini Ankara'daki Macunköy yerleşkesi olarak veriyor. Şirketin kendi iletişim sayfası ise kayıtlı merkezi Ankara Gölbaşı olarak gösteriyor; Macunköy birkaç yerleşkeden biri. Macunköy diyen cevapların çoğu Wikipedia'ya ya da onu tekrarlayan haber sayfalarına dayanıyordu.
Thales için de aynısı geçerli. İngilizce Wikipedia genel merkezi La Défense'ta gösteriyor; Fransızca Wikipedia ve şirketin Fransa piyasa düzenleyicisine yaptığı bildirim Meudon diyor. İngilizce sayfayı kaynak gösteren cevap eski adresi devralıyor.
Wikipedia'ya göre kontrol, bu cevapları doğru sayardı. Biz şirketlerin kendi kaynaklarına ve düzenleyici kayıtlarına göre kontrol ettik. Puanlama şehir düzeyinde yapıldığı için ASELSAN cevapları yine doğru sayıldı (Ankara); ilçe farkı, hatanın nereden geleceğini gösteriyor.
Yapay zeka Türk markalarının kuruluş yılını, merkezini ve sahibini ne kadar doğru veriyor?
Büyük ölçüde doğru. İki toplama turunda ve altı motorda, 3.640 kontrol edilebilir bilginin 3.391'i (%93,2) şirketin resmi bilgileriyle örtüştü. Tamamen yanlış olan yalnızca 59 bilgiydi; aradaki farkın geri kalanı kısmen doğru bilgilerden geliyor, örneğin güncel değeri yanında eski bir rakam veren cevaplar.
Ölçtüğümüz motorlar: ChatGPT, Gemini, Google AI Overviews, Bing Copilot, Perplexity ve Claude. Ölçtüğümüz bilgiler: kuruluş yılı, merkez, sahip, faaliyet gösterilen ülkeler ve büyüklük (ciro, yolcu, müşteri, çalışan sayısı).
ChatGPT Türk markaları hakkında doğru bilgi veriyor mu?
Test ettiğimiz 11 Türk markasında büyük ölçüde evet: ChatGPT'nin temel bilgileri resmi kaynakla %97,9 oranında (385 bilginin 377'si) örtüştü. Avrupa kontrol markalarıyla birlikte oran %97,4 (680 bilginin 662'si). Ancak ChatGPT cevaplarında nadiren bağlantı gösterdi: birinci turda kaynağı izlenen 19 ChatGPT hatasının 16'sı hiç bağlantı içermeyen cevaplardan geldi. Yani ChatGPT çoğu zaman doğru, ama yanıldığında okuyucunun kontrol edebileceği bir kaynak göstermiyor.
| Motor | Doğru / kontrol edilebilir | Oran |
|---|---|---|
| Perplexity | 265 / 271 | %97,8 |
| ChatGPT | 662 / 680 | %97,4 |
| Gemini | 569 / 607 | %93,7 |
| Claude | 330 / 359 | %91,9 |
| Google AI Overviews | 718 / 781 | %91,9 |
| Bing Copilot | 847 / 942 | %89,9 |
- Perplexity%97,8 265 / 271
- ChatGPT%97,4 662 / 680
- Gemini%93,7 569 / 607
- Google AI Overviews%91,9 718 / 781
- Claude%91,9 330 / 359
- Bing Copilot%89,9 847 / 942
Altı motor: %93,2
Perplexity ve Claude yalnızca bilgi sorusunu cevapladı; bu iki satır farklı bir soru setine dayanıyor. Yapay zeka cevabı göstermeyen Bing kayıtları hariç. Eksen %85'ten başlıyor.
Türk markaları mı, Avrupa markaları mı daha doğru anlatılıyor?
Türk markaları. Bu örneklemde Türk markaları, eşleştirildikleri Avrupa markalarından biraz daha doğru anlatıldı: %94,3'e (2.007 bilginin 1.893'ü) karşı %91,7 (1.633 bilginin 1.498'i). Avrupa markalarının kaybı belirli yerlerde toplanıyor: Lufthansa sık sık Frankfurt'ta gösteriliyor, oysa kayıtlı merkezi Köln. Vodafone Londra'da gösteriliyor, oysa merkezi Newbury. Primark'ın kuruluş yılı birkaç motorda 1962 olarak veriliyor; şirket 1969'da kuruldu.
Trendyol kimin, Pegasus kimin? Yapay zeka şirket sahiplerini doğru biliyor mu?
"Trendyol kimin?" sorusu Türkiye'de ayda yaklaşık 6.600 kez aranıyor (Semrush Türkiye tahmini, Ekim 2026). Alibaba'nın yıllık raporuna göre Trendyol, Alibaba Group'un konsolide bağlı ortaklığı; Alibaba 2018'de yaklaşık %85 hisse aldı. Pegasus ise Borsa İstanbul'da işlem görüyor ve kontrol hissesi (KAP'taki şirket raporuna göre 30 Haziran 2026 itibarıyla %52,81) Esas Holding'de. ASELSAN da Borsa İstanbul'da işlem gören bir savunma elektroniği şirketi; çoğunluk hissedarı (şirketin ortaklık sayfasına göre %74,20) Türk Silahlı Kuvvetlerini Güçlendirme Vakfı. Bu çalışmada sahip bilgisi en doğru verilen alan oldu: 1.379 bilginin 1.311'i (%95,1) doğruydu. Merkez bilgisi %94,9 (875 bilginin 830'u) ile onu izledi.
En zayıf alan büyüklük rakamları: ciro, yolcu, müşteri ve çalışan sayısı %87,1 doğru (263 bilginin 229'u). Kuruluş yılı ve faaliyet gösterilen ülke sayısı %90,9'da kaldı.
Bing Copilot her zaman yapay zeka cevabı veriyor mu?
Hayır. Bing Copilot'tan alınan 669 kaydın 79'unda (%11,8) Bing, Copilot cevabı yerine normal arama sonuçları sayfasını gösterdi. Bunu ekran görüntülerini okuyarak bulduk ve bu kayıtları, eksik bir Google AI Overview gibi "yapay zeka cevabı yok" olarak saydık. Bu kayıtları dışarıda bırakmak ana sonucu değiştirmiyor: toplu doğruluk önce %93,1, sonra %93,2.
Google AI Overviews de her zaman görünmedi: 363 sorunun 9'unda Overview çıkmadı.
Yapay zeka Alanya'yı ve Alanya Kalesi'ni doğru anlatıyor mu?
Çalışma, Alanya hakkında 15 turist sorusunu Türkçe, İngilizce, Almanca ve Rusça olarak sordu ve cevapları resmi kaynaklarla karşılaştırdı. 825 kontrol edilebilir bilginin 729'u (%88) doğruydu. Hiçbir cevap Alanya Kalesi'nin UNESCO Dünya Mirası olduğunu söylemedi; doğrudan sorulduğunda 26 cevabın 25'i kaleyi doğru şekilde Geçici Liste'de gösterdi.
Zayıf nokta pratik bilgiler. Açılış saati ve giriş ücreti sorusunda 31 cevabın 27'si, yabancı yetişkinler için kale giriş ücretini, 2026 için hiçbir resmi kaynakta bulamadığımız aynı rakamla verdi. En az doğru alan açılış saatleri oldu: 57 bilginin yalnızca 11'i tamamen doğruydu.
Bu sonuçlar neden güvenilir?
- Kontrol grubu. Her Türk markası karşılaştırılabilir bir Avrupa markasıyla eşleştirildi; aynı sorular aynı motorlara soruldu. Türk markaları %94,3, kontrol markaları %91,7.
- Tekrar turu. Her soru farklı zamanlarda iki kez soruldu. Doğruluk birinci turda %93,1, ikinci turda %93,2.
- Tutarlılık kontrolü (model yeniden okuması). İkinci bir model (Claude), 60 bilgilik rastgele bir örneklemi aynı kurallarla ve ilk kararları görmeden yeniden puanladı. 60 bilginin 56'sında aynı sonuca vardı (Cohen kappa 0,865); hiçbir anlaşmazlık doğru ile yanlış arasındaki çizgiyi geçmedi. Claude ölçülen motorlardan biri de olduğu için bu kontrol, kuralların tutarlı uygulandığını gösterir; bağımsız bir insan okuması değildir.
- Her alıntı doğrulandı. Bir bilgi, ancak alıntısı cevapta kelimesi kelimesine geçiyorsa sayıldı; böylece okuma adımı hiçbir bilgi uyduramadı. 4.582 bilgi bu kontrolü geçti.
Yapay zeka markanız hakkında yanlış bilgi veriyorsa ne yapmalı?
Bulgulardan çıkan üç adım:
- Cevapların gösterdiği sayfaları düzeltin. İzlenebilen 164 hatanın 110'unda yanlış değer, gösterilen bir sayfada da yazıyordu; bunların 64'ünü Wikipedia, 33'ünü haber siteleri taşıyordu. Bu, düzeltmenin cevabı değiştirdiğini henüz kanıtlamıyor; tekrar ölçümde sınayacağız. Sayfa Wikipedia ise maddeyi kendiniz düzenlemeyin: Wikipedia'nın çıkar çatışması yönergesi, şirketlerin değişikliği bağımsız bir kaynakla maddenin tartışma sayfasında önermesini istiyor.
- Kendi sayfalarınızda tarih ve rakamları net yazın. Markaların kendi sayfaları 14 kopyalanan hatayı taşıyordu; örneğin bir grubun kuruluş yılı, gruba bağlı bir şirkete uygulanmıştı. Kuruluş tarihini, faaliyete başlama yılını ve her büyüklük rakamının yılını ayrı yazın.
- Sattığınız her dilde kontrol edin. Türkçe ve İngilizce cevaplar farklı markaları andı ve aynı marka hakkında farklı hikâyeler anlattı.
Bu çalışma nasıl yapıldı?
Çalışmada Türkiye'den 11 marka yer aldı: THY, Pegasus, Trendyol, Beko, Turkcell, LC Waikiki, ASELSAN, Baykar, ROKETSAN, TUSAŞ ve HAVELSAN. Bunlar Lufthansa, Ryanair, Zalando, Vodafone ve Thales gibi 9 Avrupa kontrol markasıyla karşılaştırıldı. Her marka için resmi kaynaklardan bir bilgi kartı hazırladık. Aynı soruları altı yapay zeka motoruna Türkçe ve İngilizce, iki ayrı turda, Türkiye'deki bir bağlantıdan sorduk (15-18 Ekim 2026). Cevaplardaki bilgileri çıkarıp bilgi kartlarıyla karşılaştırdık, hataları cevabın gösterdiği sayfalara kadar izledik. Değerlendirme kuralları ölçümden önce yazıldı. Veri, kod ve ayrıntılı yöntem Zenodo'da açık.
Bu yazıdaki her doğruluk oranının tabanı: doğru bilgi sayısı bölü kontrol edilebilir bilgi sayısı (doğru, kısmen doğru ve yanlış), gözden geçirilmiş kararlar üzerinden, yapay zeka cevabı göstermeyen Bing kayıtları hariç. Alanya bölümünün kendi bilgi seti var.
Bu sonuçlar neyi kapsıyor?
Sonuçlar bu 20 markayı, bu soruları ve bu altı motoru, toplama tarihlerinde ve yukarıda anlatılan yollarla anlatıyor.
- Konum. Sorular Türkiye'deki bir bağlantıdan soruldu. Motorlar cevaplarını kullanıcının konumuna göre uyarlıyor; Google bazen İngilizce bir soruya Türkçe cevap verdi.
- Arayüz. Cevaplar, motorların herkesin kullandığı web arayüzlerinden alındı; ücretli sürümler ve API'ler farklı cevap verebilir. Gemini ve Google AI Overviews bir Google hesabıyla, Claude ve Perplexity kendi hesaplarıyla kullanıldı; bu cevaplarda hesaba göre kişiselleştirme olabilir.
- Zaman. 15-18 Ekim 2026 arasında iki tur. Yapay zeka cevapları değişir; sonraki bir tur farklı çıkabilir.
- Örneklem. 20 marka, beş şablon soru, iki dil. Oranlar bu örneklemdeki toplam sayımlardır, bütün markalar için bir tahmin değildir; beşten az bilgiye dayanan oran gösterilmez.
- Doğruluğun tarihi. Bilgi kartları resmi kaynakların erişim tarihindeki (15 ve 16 Ekim 2026) hâlini yansıtır. Resmi kaynaklar çeliştiğinde bilgi puanlanmadı.
- Kaynak izleme. Kaynak sayfalar cevaplardan sonra açıldı ve o zamandan beri değişmiş olabilir; 632 kaynak sayfanın 417'si okunabildi.
- Düzeltmeler. 7 Kasım 2026, dışarıdan alınan bir yöntem incelemesinin ardından: kaynak sayfa karşılaştırmasına anlamlılık testi ve gösterilen sayfada aynı değerin geçmesinin cevabın oradan alındığını kanıtlamadığı notu eklendi; düzeltme önerisine Wikipedia'nın çıkar çatışması yönergesi eklendi; Claude ile yapılan yeniden okumanın adı tutarlılık kontrolü oldu; THY iki dilde 15 cevabın 14'ü olarak verildi. Hiçbir rakam değişmedi.
Burada ölçülen markalar değil, yapay zeka motorlarıdır. Bir hata, motorun o tarihte söylediğiyle şirketin resmi kaynağı arasındaki farkı gösterir; şirket hakkında bir yargı taşımaz.
Bu çalışma Türkiye'nin kamu yapay zeka altyapısı EVREN'de nasıl yapıldı?
Veri hattının bütün dil modeli adımları EVREN'de çalıştı: cevapları okumak, sahip adlarını eşleştirmek, kaynak sayfaları okumak, çevirmek, iki dili karşılaştırmak ve soruları taramak. EVREN dışında kalan tek model adımı, 60 kararlık tutarlılık kontrolüydü (Claude). EVREN, tek bir API arkasında birkaç açık ağırlıklı sohbet modelini, gömme (embedding), ekran okuma (OCR) ve güvenlik modelleriyle birlikte sunuyor.
EVREN'in modelleri bu çalışmada şunları mümkün kıldı:
- Bilgiyi koruyan çeviri. 144 cümlelik geri çeviri kontrolünde 140 cümle aynı anlamı korudu, hiçbiri ciddi biçimde kaymadı; çevrilen 1.584 cevabın hiçbirinde bağlantı kaybolmadı.
- Soru setinin güvenlik taraması. 753 soru metninin 749'u güvenli bulundu; hiçbiri siyasi açıdan hassas işaretlenmedi.
- Toplamanın kendisinin kontrolü. EVREN'in OCR modeli, örneklenen 60 Bing ekran görüntüsünde görünen 460 cümlenin 442'sini (%96,1) toplanan metinde buldu; kaçanların hiçbiri toplamanın atladığı bir metin değildi. Bing'in bazı kayıtlarda yapay zeka cevabı göstermediği bulgusu da bu kontrolle ortaya çıktı.
Aynı bilgi sorularını EVREN'de çalışan beş sohbet modeline de sorduk. Markanın resmi bilgi kartı verildiğinde EVREN modelleri kontrol edilebilir bilgilerin %97'sini doğru aktardı (4.113 bilginin 4.007'si). Kartlar aynı zamanda cevap anahtarı olduğu için bu bir üst sınır. Kaynak verilmeden, yalnızca kendi bilgisiyle cevap verdiklerinde oran %85 oldu (1.908 bilginin 1.629'u). Sonuç, yapay zeka motorlarındaki bulguyla örtüşüyor: bir model, kendisine verilen kaynak kadar doğru; resmi kaynaklar üzerine kurulan bir arama katmanı doğruluğu artırmanın en açık yolu.
Tekrarlanabilirlik notu: EVREN, bu çalışmada bilgi çıkarmada kullanılan modeli ölçümlerden sonra, 19 Ekim 2026'da kullanımdan kaldırdı. Bu modelin ürettiği bütün ara çıktılar (çıkarılan bilgiler, sayfa okumaları, çeviriler) veriyle birlikte yayımlandı; sonuçlar bunlarla kontrol edilebilir ve sonraki adımlar modele ihtiyaç duymadan yeniden çalıştırılabilir. Bu adımları baştan çalıştırmak için, yayımlanan çıktılarla kalibre edilmiş bir yedek model gerekir.
Rapor materyalleri
Veri ve kod
Tek bir Zenodo kaydı, yaklaşık 51 MB'lık tek bir zip; bizim katkımız CC BY 4.0 lisanslı: doi:10.5281/zenodo.24040978. İçinde:
- sorulan 968 soru ve kaynak bağlantıları ile zaman damgalarıyla 2.912 cevap kaydı;
- 11.009 kaynak satırı (her cevap ve bağlantı sırası için bir satır);
- her değeri resmi kaynağı ve erişim tarihiyle bilgi kartları;
- ham ve gözden geçirilmiş kararlarıyla 6.378 çıkarılmış bilgi, gözden geçirme kayıtları ve tutarlılık kontrolü (model yeniden okuması);
- kaynak izleme sonuçları, 1.542 İngilizce çeviri, dil karşılaştırması ve EVREN model testi;
- cevap bölgesine kırpılmış ve bulanıklaştırılmış 313 Bing Copilot ekran görüntüsü;
- analiz kodu, değerlendirme kuralları (
RULES.md) ve her adımın raporu.
Açık sürümden çıkarılanlar: bir şirketin kamuya mı özele mi ait olduğunu soran sorular, Google AI Overviews ve Bing cevaplarının kaynak sayfalardan aynen aldığı 40 kelimeyi aşan pasajlar ve özel kişilerin adları; her çıkarma README'de kayıtlı. NOTICE.md yapay zeka cevap metinlerinin koşullarını açıklıyor; düzeltme ve kaldırma talepleri: [email protected], 30 gün içinde cevaplanır. Yapay zeka cevap metinleri ilgili hizmetler tarafından üretildi; araştırma ve yorum amacıyla, hizmet adı ve toplama tarihiyle birlikte yer alıyor ve CC BY 4.0 lisansı onlar için geçerli değil. Değerlendirme kuralları (RULES.md) değerlendirmeden önce yazıldı; sonradan yapılan her karar değişikliği gerekçesiyle kayıtlı.
Minel Gunesoglu (2026). What AI tells the world about Türkiye's brands (Release 1) [Data set]. Is My Brand in AI. Zenodo. https://doi.org/10.5281/zenodo.24040978
Her sayı veri dosyalarından yeniden üretilebilir. Veri, kod ve değerlendirme kuralları Zenodo kaydında; sonuçları kendiniz doğrulayabilirsiniz.
Bağımsızlık. Çalışmayı Is My Brand in AI kendi kaynaklarıyla tasarladı ve yürüttü. Hesaplama EVREN altyapısında yapıldı; EVREN çalışmanın tasarımına, veri toplamasına, analizine, yorumuna ve yayın kararına katılmadı, sonuçları yayından önce görmedi.
Teşekkür. Bu çalışmanın dil modeli adımlarını mümkün kıldığı için Türkiye'nin kamu yapay zeka altyapısı EVREN'e teşekkür ederiz.
BIST 100 şirketleri için sıradaki ölçüm ne?
BIST 100. İkinci yayında aynı yöntem Borsa İstanbul'un en büyük 100 şirketine uygulanacak.
Tekrar ölçüm. İki ila üç ay içinde aynı soruları, yöntemi önceden kayda geçirerek yeniden soracağız ve burada bulunan hataların düzelip düzelmediğine bakacağız.
Aynı veriyle hazırlanan İngilizce çalışma: Is ChatGPT Accurate About Brands?
