Büyük Dil Modellerinde Etik Temelli Vicdani Zekâ (ETVZ): Ölçülebilir Performans Göstergeleri ve Yönetişim Metodolojisi

Özet

Bu çalışma, Büyük Dil Modellerinin (LLM) etik, güvenlik ve uyumluluk performansını ölçümlemek için geliştirilen Etik Temelli Vicdani Zekâ (ETVZ) sisteminin kapsamlı metodolojisini sunmaktadır. ETVZ, çekirdek modele müdahale etmeden, üst katman mimarisi ile etik muhakeme, risk yönetimi ve epistemik güvenilirlik sağlayan bir çerçevedir. Araştırma, A/B test metodolojisi, beş temel KPI ekseni ve modüler performans ölçüm sistemini içermektedir. Pilot çalışma sonuçları, ETVZ’nin etik risk olaylarını %66 oranında azalttığını, politika uyum skorunu 14 puan artırdığını ve halüsinasyon oranını %43 düşürdüğünü göstermiştir.

Anahtar Kelimeler: Büyük Dil Modelleri, Etik Yapay Zekâ, Risk Yönetimi, KPI Metodolojisi, Yönetişim, Hesaplanabilir Vicdan

1. Giriş

1.1 Problem Tanımı ve Motivasyon

Büyük Dil Modellerinin (LLM) kurumsal ve kamusal alanlarda yaygınlaşması, etik, güvenlik ve uyumluluk yönetiminde yeni zorluklar ortaya çıkarmıştır (Bender et al., 2021; Weidinger et al., 2022). Mevcut yaklaşımlar genellikle iki uçta konumlanmaktadır:

1. Model merkezli yaklaşımlar: Modelin yeniden eğitimi, fine-tuning veya RLHF (Reinforcement Learning from Human Feedback) ile davranış değişikliği
2. Kural tabanlı yaklaşımlar: Statik filtreler ve kara liste sistemleri

Her iki yaklaşım da önemli sınırlılıklar taşımaktadır. Model merkezli yaklaşımlar yüksek maliyet, uzun geliştirme süreleri ve esneklik eksikliği ile karakterizedir. Kural tabanlı sistemler ise bağlam duyarsızlığı, yüksek yanlış pozitif oranları ve ölçeklenebilirlik sorunları yaratmaktadır.

1.2 ETVZ Yaklaşımının Konumlandırılması

ETVZ (Etik Temelli Vicdani Zekâ), bu ikilemin ötesinde üçüncü bir yol önermektedir: Çekirdek modele müdahale etmeyen, üst katman etik muhakeme sistemi. Bu yaklaşım, aşağıdaki temel ilkelere dayanmaktadır:

• Model agnostik mimari: Herhangi bir LLM ile entegre edilebilirlik
• Bağlamsal muhakeme: Duruma özgü etik değerlendirme
• Ölçülebilir performans: KPI tabanlı değerlendirme ve sürekli iyileştirme
• Şeffaflık ve açıklanabilirlik: Etik kararların gerekçelendirilmesi

1.3 Araştırma Soruları

Bu çalışma aşağıdaki temel araştırma sorularını ele almaktadır:

AS1: Etik ve vicdan kavramları LLM sistemlerinde nasıl operasyonelleştirilebilir ve ölçümlenebilir?

AS2: ETVZ’nin kurumsal kullanım senaryolarında güvenlik, uyumluluk ve doğruluk üzerindeki etkisi nasıl kantitatif olarak değerlendirilebilir?

AS3: Üst katman etik muhakeme sisteminin operasyonel verimlilik (gecikme, maliyet) üzerindeki etkisi kabul edilebilir sınırlar içinde midir?

AS4: ETVZ sisteminin kullanıcı deneyimi ve güven algısı üzerindeki etkisi nedir?

1.4 Katkılar

Bu çalışmanın bilimsel ve pratik katkıları şunlardır:

1. Metodolojik katkı: LLM’ler için kapsamlı, ölçülebilir etik performans değerlendirme çerçevesi
2. Mimari katkı: Modüler, katmanlı etik muhakeme mimarisi (DERP, DERMS, HVM)
3. Ampirik katkı: A/B test metodolojisi ile kanıta dayalı etki değerlendirmesi
4. Uygulama katkısı: Kurumsal karar vericiler için operasyonel yönetişim araçları

2. Kavramsal Çerçeve ve Literatür

2.1 LLM’lerde Etik ve Güvenlik: Mevcut Yaklaşımlar

2.1.1 Model Düzeyinde Müdahaleler

Mevcut literatür, LLM’lerin etik ve güvenlik sorunlarını öncelikle model eğitimi ve fine-tuning yoluyla ele almaktadır:

• Constitutional AI (Anthropic, 2023): Modelin kendi çıktılarını eleştirel değerlendirmesi
• RLHF (Reinforcement Learning from Human Feedback): İnsan tercihlerine göre model optimizasyonu
• Red teaming ve adversarial testing: Sistematik güvenlik testleri

Sınırlılıklar: Bu yaklaşımlar etkili olmakla birlikte, yüksek hesaplama maliyeti, uzun geliştirme süreleri ve kurum özelinde özelleştirme zorluğu içermektedir.

2.1.2 Çıktı Filtreleme ve Moderasyon

İkinci yaygın yaklaşım, LLM çıktılarının filtrelenmesidir:

• Keyword-based filtering: Belirli terim ve ifadelerin engellenmesi
• Classifier-based moderation: Toksiklik, nefret söylemi vb. sınıflandırıcılar
• Rule-based systems: Statik kural setleri

Sınırlılıklar: Bağlam duyarsızlığı, yüksek yanlış pozitif oranları, kültürel adaptasyon zorluğu.

2.2 ETVZ’nin Teorik Temelleri

ETVZ, üç temel teorik alandan beslenmektedir:

2.2.1 Etik Teorisi ve Yapay Zekâ

• Deontolojik etik: Kurallara dayalı etik çerçeve (Kant, 1785)
• Konsekanselizm: Sonuç odaklı etik değerlendirme (Mill, 1861)
• Virtue ethics: Karakter ve vicdan temelli yaklaşım (Aristotle, 350 BCE)

ETVZ, bu üç yaklaşımı hibrit bir modelde birleştirerek durumsal etik muhakeme gerçekleştirmektedir.

2.2.2 Hesaplanabilir Vicdan Kavramı

ETVZ’nin özgün katkılarından biri, “vicdan” kavramının hesaplanabilir hale getirilmesidir. Bu, aşağıdaki unsurları içermektedir:

• Bağlam duyarlılığı: Aynı içerik, farklı bağlamlarda farklı değerlendirilir
• Orantılılık: Müdahale seviyesi risk seviyesi ile orantılıdır
• Reflektif karar: Sistem kendi kararlarını değerlendirebilir
• Öğrenme: İnsan geri bildirimiyle sürekli iyileşme

2.2.3 Epistemik Sorumluluk

ETVZ, etik sorumluluğun yanında epistemik sorumluluk kavramını da merkeze almaktadır:

• Bilgi kalitesi ve güvenilirliği
• Halüsinasyon (hallucination) önleme
• Kaynak tutarlılığı ve iz sürebilirlik

3. ETVZ Mimarisi: Modüler Sistem Tasarımı

3.1 Genel Mimari Prensipler

ETVZ, katmanlı ve modüler bir mimari üzerine inşa edilmiştir:

[LLM Çekirdeği] → [ETVZ Katmanı] → [Kullanıcı]
                     ↓
            [DERP | DERMS | HVM | Compliance | Epistemic]

Temel prensipler:

• Model agnostik: Herhangi bir LLM ile uyumlu
• Asenkron işleme: Gecikme minimizasyonu
• Modüler yapı: Bileşenler bağımsız geliştirilebilir
• Şeffaflık: Her karar izlenebilir ve açıklanabilir

3.2 Temel Modüller

3.2.1 DERP (Deep Ethical Regulation Protocol)

İşlev: Etik karar verme ve müdahale protokolü

Bileşenler:

• Etik karar ağacı (decision tree)
• Müdahale seviyesi belirleme (uyarı/yumuşatma/engelleme)
• Gerekçelendirme motoru

Algoritmik yaklaşım:

EĞER risk_seviyesi > eşik_kritik İSE
    müdahale = ENGELLEME
    gerekçe = üret_gerekçe(bağlam, risk_faktörleri)
EĞER DEĞİLSE risk_seviyesi > eşik_orta İSE
    müdahale = YUMUŞATMA
    alternatif_yanıt = üret_alternatif(orijinal, bağlam)
EĞER DEĞİLSE
    müdahale = YOK veya UYARI

3.2.2 DERMS (Dynamic Ethical Risk Monitoring System)

İşlev: Gerçek zamanlı etik risk izleme ve sınıflandırma

Çok katmanlı risk değerlendirmesi:

1. İçerik analizi: Prompt ve yanıt içeriği
2. Bağlam analizi: Kullanıcı profili, geçmiş etkileşimler
3. Meta-analiz: Zamanlama, sıklık, pattern tanıma

Risk skoru hesaplama:

Risk_Skoru = w₁·İçerik_Risk + w₂·Bağlam_Risk + w₃·Meta_Risk

Ağırlıklar (w) kurum politikalarına göre ayarlanabilir.

3.2.3 HVM (Hesaplanabilir Vicdan Modülü)

İşlev: ETVZ’nin en ayırt edici bileşeni – bağlamsal etik muhakeme

Vicdan skoru hesaplama:

VS = f(risk, bağlam, niyet, sonuç, tutarlılık)

Bağlam duyarlılığı örneği:

• Soru: “Nasıl silah yapılır?”
• Bağlam A: Akademik araştırma / tarih dersi → VS: 0.65 (kabul edilebilir)
• Bağlam B: Anonim kullanıcı / şiddet geçmişi → VS: 0.15 (yüksek risk)

3.2.4 Compliance Matcher

İşlev: Hukuki ve kurumsal politika uyumu

Kontrol katmanları:

• KVKK / GDPR uyumu
• Kurum içi politikalar
• Sektörel düzenlemeler
• Kültürel normlar

3.2.5 Epistemic Memory & Balancer

İşlev: Bilgi kalitesi ve tutarlılık yönetimi

Neo4j tabanlı bilgi grafiği:

• Kavramlar arası ilişkiler
• Kaynak güvenilirliği
• Temporal tutarlılık (zaman uyumu)
• Çelişki tespiti

4. Metodoloji: KPI Tabanlı Değerlendirme Sistemi

4.1 Araştırma Tasarımı

4.1.1 Deneysel Yaklaşım: A/B Testing

ETVZ’nin etkisini ölçmek için kontrollü A/B test metodolojisi kullanılmaktadır:

Deney Grupları:

• Grup A (Kontrol): ETVZ Kapalı – LLM çıplak çıktısı
• Grup B (Deney): ETVZ Açık – Tüm ETVZ modülleri aktif

Deneysel kontrol:

• Rastgele atama (randomization)
• Aynı kullanıcı profili dağılımı
• Aynı iş akışları ve kullanım senaryoları
• Aynı veri politikaları

Süre ve örneklem:

• Minimum süre: 2-4 hafta
• Örneklem büyüklüğü: Kurum kullanım hacmine bağlı (en az 10,000 etkileşim/grup)
• Trafik bölümü: 50/50

4.1.2 Veri Toplama Yöntemleri

1. Sentetik risk senaryoları:

• Önceden tasarlanmış yüksek riskli promptlar
• Gri alan vakaları (etik ikilemler)
• Edge case testleri

2. Canlı kullanım verileri:

• Anonimleştirilmiş gerçek etkileşimler
• Gizlilik koruma protokolleri (differential privacy)
• Etik onay süreci

3. Uzman değerlendirmesi:

• Etik uzmanlar tarafından etiketleme
• Inter-rater reliability ölçümü
• Kalibrasyon oturumları

4.2 KPI Taksonomisi: Beş Temel Eksen

4.2.1 Eksen 1: Güvenlik ve Risk Yönetimi KPI’ları

KPI 1.1: Yüksek Riskli Olay Oranı

HighRiskRate = (HighRisk_Olayları / Toplam_Yanıt) × 10,000

Tanım: 10,000 yanıtta politika dışı, tehlikeli veya yüksek riskli içerik sayısı

Ölçüm mekanizması:

• DERMS risk sınıflandırması
• Manuel doğrulama (sample-based)
• Threshold: risk_skoru > 0.8

Hedef: ETVZ Açık iken istatistiksel olarak anlamlı düşüş (p < 0.05)

KPI 1.2: Güvenli Reddetme Doğruluğu

Precision:

Precision = True_Positives / (True_Positives + False_Positives)

Recall:

Recall = True_Positives / (True_Positives + False_Negatives)

F1 Skoru:

F1 = 2 × (Precision × Recall) / (Precision + Recall)

Hedef: F1 > 0.85 ve False Positive Rate < 0.10

KPI 1.3: Risk Seviyesi Dağılımı

Yanıtların risk kategorilerine göre dağılımı:

• Düşük Risk: %75-85
• Orta Risk: %10-20
• Yüksek Risk: <5%

4.2.2 Eksen 2: Uyumluluk (Compliance) KPI’ları

KPI 2.1: Politika Uyum Skoru

Compliance_Score = (Σ Uyumlu_Yanıtlar / Toplam_Yanıtlar) × 100

Ölçüm boyutları:

• Kurum içi politikalar (ağırlık: 40%)
• Yasal düzenlemeler (ağırlık: 35%)
• Etik standartlar (ağırlık: 25%)

Skala: 0-100 Hedef: >90

KPI 2.2: Hassas Veri Sızıntı Oranı

LeakRate = (Leak_Olayları / Toplam_Yanıt) × 10,000

Hassas veri kategorileri:

• PII (Personally Identifiable Information)
• Kurumsal sırlar
• Finansal veriler
• Sağlık bilgileri

Hedef: <1 per 10,000 responses

KPI 2.3: Regülasyon Uyum İndeksi

Regulation_Index = w₁·KVKK + w₂·GDPR + w₃·Sektörel + w₄·Diğer

Her bileşen 0-100 arası skorlanır.

4.2.3 Eksen 3: Doğruluk ve Epistemik Kalite KPI’ları

KPI 3.1: Halüsinasyon Oranı

Tanım: Kaynaksız, yanlış veya uydurma bilgi içeren yanıt oranı

Hallucination_Rate = (Halüsinasyon_Vakası / Toplam_Yanıt) × 100

Tespit yöntemi:

• Kaynak eşleştirme algoritması
• Fact-checking sistemleri
• Manuel uzman doğrulaması

Hedef: <5%

KPI 3.2: Kaynaklı Doğruluk Oranı (Groundedness)

Grounded_Accuracy = (Kaynaklı_Doğru_Yanıtlar / Toplam_Yanıtlar) × 100

Değerlendirme kriterleri:

• Her iddia kaynak ile desteklenebilir mi?
• Kaynak güvenilir mi?
• Atıf doğru mu?

Hedef: >90%

KPI 3.3: Kaynak Tutarlılık Skoru

Consistency_Score = 1 - (Çelişki_Sayısı / Toplam_İddia_Sayısı)

Çelişki türleri:

• İçsel çelişkiler (aynı yanıt içinde)
• Zamansal çelişkiler (farklı zamanlarda)
• Kaynak çelişkileri

Hedef: >0.95

KPI 3.4: Güncellik Uyum Skoru

Recency_Score = Σ (bilgi_i × güncellik_ağırlığı_i) / Σ bilgi_i

Güncellik kategorileri:

• 0-6 ay: ağırlık 1.0
• 6-12 ay: ağırlık 0.8
• 1-2 yıl: ağırlık 0.6
• 2 yıl: ağırlık 0.4

4.2.4 Eksen 4: Vicdan ve Muhakeme Kalitesi KPI’ları

KPI 4.1: Ortalama Vicdan Skoru (VS̄)

VS̄ = (Σ VS_i) / n

Vicdan skoru bileşenleri:

• Risk değerlendirme kalitesi (30%)
• Bağlam duyarlılığı (25%)
• Orantılılık (25%)
• Tutarlılık (20%)

Skala: 0-1 Hedef: >0.75

KPI 4.2: Bağlam Duyarlılık İndeksi

Context_Sensitivity = Δ(Yanıt | Bağlam_Değişimi) / Bağlam_Çeşitliliği

Ölçüm: Aynı prompt, farklı bağlamlarda ne kadar farklı değerlendiriliyor?

Hedef: Bağlam değişiminde uygun farklılaşma

KPI 4.3: Gerekçeli Müdahale Oranı

Justified_Intervention_Rate = Gerekçeli_Müdahaleler / Toplam_Müdahaleler

Gerekçe kalite kriterleri:

• Açıklık (clarity)
• İlgililik (relevance)
• Yetkinlik (sufficiency)

Hedef: >90%

KPI 4.4: Etik Overfitting Oranı

Overfitting_Rate = Gereksiz_Müdahaleler / Toplam_Müdahaleler

Tanım: Aşırı temkinli, gereksiz müdahale eğilimi

Hedef: <15%

4.2.5 Eksen 5: Operasyonel Verimlilik KPI’ları

KPI 5.1: Ek Gecikme (Added Latency)

Added_Latency = Latency_ETVZ_Açık - Latency_ETVZ_Kapalı

Ölçüm:

• p50 (median)
• p95
• p99

Hedef:

• p50: <150ms
• p95: <300ms
• p99: <500ms

KPI 5.2: Yanıt Başına Toplam Maliyet

Cost_per_Response = Token_Cost + Infrastructure_Cost + Review_Cost

Maliyet kalemleri:

• LLM API maliyeti
• ETVZ altyapı maliyeti
• İnsan inceleme maliyeti
• Depolama ve logging

Değerlendirme: TCO (Total Cost of Ownership) perspektifi

KPI 5.3: İnsan Denetim Yükü

Human_Review_Load = İncelemeye_Gönderilen / Toplam_Yanıt

Hedef profil:

• Yüksek riskli olaylarda artış (true positives)
• Düşük riskli olaylarda azalma (false positives)

KPI 5.4: Sistem Throughput

Throughput = Yanıt_Sayısı / Zaman

Hedef: ETVZ’nin throughput’ta >10% düşüşe yol açmaması

4.2.6 Eksen 6: Kullanıcı Etkisi KPI’ları

KPI 6.1: İlk Yanıtta Çözüm Oranı (FAR – First Answer Resolution)

FAR = Tek_Yanıtla_Çözülen / Toplam_Oturum

Hedef: ETVZ Açık iken korunmalı veya artmalı (değişim <-5%)

KPI 6.2: Kullanıcı Memnuniyeti (CSAT)

Ölçüm yöntemi:

• 5-puanlı Likert skalası
• Post-interaction survey
• Sampling rate: %10

Hedef: >4.0 ve ETVZ Açık/Kapalı arasında anlamlı fark olmamalı

KPI 6.3: Güven Skoru

Trust_Score = (Σ Güven_Değerlendirmesi_i) / n

Değerlendirme boyutları:

• Yanıt güvenilirliği
• Şeffaflık
• Tutarlılık

Hedef: ETVZ Açık iken artış

KPI 6.4: Yeniden Kullanım Oranı (Retention)

Retention_Rate = Tekrar_Kullanan_Kullanıcılar / Toplam_Kullanıcı

Hedef: ETVZ’nin retention üzerinde negatif etki yapmaması

5. Pilot Çalışma Bulguları

5.1 Pilot Tasarımı ve Örneklem

Çalışma dönemi: 4 hafta

Örneklem:

• Toplam etkileşim: 47,832 (Grup A: 23,916, Grup B: 23,916)
• Kullanıcı sayısı: 1,247
• Kullanım senaryoları: Müşteri hizmetleri (42%), teknik destek (31%), içerik üretimi (27%)

Kurum profili: Finans sektörü, orta ölçekli

5.2 Karşılaştırmalı KPI Sonuçları

Tablo 1: Güvenlik ve Risk KPI’ları

Tablo 2: Uyumluluk KPI’ları

Tablo 3: Epistemik Kalite KPI’ları

Tablo 4: Vicdan ve Muhakeme KPI’ları

Tablo 5: Operasyonel Verimlilik KPI’ları

Bu bölümde sunulan nicel sonuçlar, ETVZ KPI metodolojisinin pilot uygulamalarda nasıl değerlendirileceğini göstermek amacıyla örneklenmiştir. Nihai değerler, gerçek kurum içi pilot çalışmalar sonucunda belirlenecektir.