Yapay zeka guardrail nedir?
Guardrail, bir yapay zeka uygulamasının girdilerini, çıktılarını ve eylemlerini denetleyerek istenmeyen davranışları engelleyen teknik koruma katmanıdır. Modelin kendisine güvenmek yerine, modelin çevresine kurulur. Kişisel verinin dışarı çıkmasını, konu dışı veya zararlı cevapları, kötü niyetli talimatları ve yetkisiz işlemleri sınırlar. Riski azaltır ama sıfırlamaz; izleme ve insan denetimiyle birlikte çalışır.
Tanım
Guardrail, bir yapay zeka uygulamasının girdilerini, çıktılarını ve eylemlerini denetleyerek istenmeyen davranışları engelleyen teknik koruma katmanıdır.
Guardrail nasıl çalışır?
Guardrail tek bir araç değil, katmanlı bir kontrol dizisidir. Girdi tarafında kullanıcı mesajı modele ulaşmadan incelenir: kişisel veri maskelenir, konu dışı istekler ve prompt injection denemeleri yakalanır. Çıktı tarafında modelin cevabı kullanıcıya gitmeden kontrol edilir: format, yasaklı içerik, kaynağa dayanma. Eylem tarafında ise modelin hangi aracı hangi yetkiyle çağırabileceği sınırlanır.
Bu kontrollerin bir kısmı basit kurallardır, örneğin TCKN veya IBAN kalıbını yakalayan bir desen. Bir kısmı ise ayrı bir sınıflandırma modeliyle yapılır.
Ne zaman guardrail gerekir?
Yapay zeka müşteriyle doğrudan konuşuyorsa, kişisel veriye erişiyorsa veya bir sistemde işlem yapıyorsa. Bir yapay zeka ajanı için en önemli guardrail yetki sınırıdır: ajan yalnız görevine gereken araçları görür. Geri alınamayan işlemlerde kural, işlemi bir insan onayına bağlamaktır. Bu düzene human-in-the-loop denir.
Türkiye’de guardrail tasarlarken nelere bakılır?
Hazır filtrelerin çoğu İngilizce için geliştirilmiştir. Türkçe argo, yazım farklılıkları ve Türkçe-İngilizce karışık mesajlarla ayrıca test edilmeleri gerekir. Kişisel veri maskelemede yerel kalıplar eklenmelidir: TCKN, vergi numarası, IBAN, telefon biçimleri.
Hangi verinin modele gidebileceği KVKK açısından hukuk danışmanınızla birlikte belirlenmeli ve teknik kurala çevrilmelidir. Guardrail kayıtları, yönetişim ve denetim çalışmalarında kanıt olarak da işe yarar.
İlgili yazılar
KVKK'ya göre yapay zeka ajanlarıKVKK'nın Etken Yapay Zekâ dokümanının ajanlar hakkında söyledikleri ve bunları somut tasarım kontrollerine çevirmenin yolu.
MCP ile ajanları iş sistemlerine bağlamakMCP ile ajanları iş sistemlerine bağlarken entegrasyon deseni, yetkilendirme, istem enjeksiyonu ve insan onayı kararları.
Chatbot maliyetini ne belirler?Chatbot maliyetinde bot türü, kanal, entegrasyon ve bakımın payı; WhatsApp mesaj ücretleri ve kaliteyi koruyan tasarruf yolları.İlgili terimler
- Prompt Injection (İstem Enjeksiyonu)Prompt injection, bir dil modelinin okuduğu girdiye gizlenen talimatlarla modelin asıl talimatlarını geçersiz kılmayı ve onu istenmeyen bir işe yöneltmeyi amaçlayan bir saldırı türüdür.
- Yapay zeka halüsinasyonuYapay zeka halüsinasyonu, bir dil modelinin gerçekte var olmayan bir bilgiyi, kaynağı veya rakamı akıcı ve kendinden emin bir dille doğruymuş gibi üretmesi durumudur.
- Yapay zeka yönetişimiYapay zeka yönetişimi, bir kurumun yapay zeka sistemlerini nasıl seçeceğini, kullanacağını, denetleyeceğini ve risklerini nasıl yöneteceğini belirleyen politika, rol ve süreçlerin bütünüdür.
- Human-in-the-Loop (İnsan Onaylı Süreç)Human-in-the-loop (HITL), bir yapay zeka sisteminin belirli kararlarını veya eylemlerini uygulanmadan önce bir insanın incelediği, onayladığı veya düzelttiği çalışma düzenidir.
- Sistem Promptu (System Prompt)Sistem promptu, bir dil modeline konuşma başlamadan önce verilen ve modelin rolünü, üslubunu, sınırlarını ve çıktı biçimini belirleyen talimat metnidir.
Sık sorulan sorular
Sistem promptuna kural yazmak guardrail sayılır mı?
Bir parçasıdır ama tek başına yetmez. Model talimatları çoğu zaman izler, her zaman değil. Güvenilir koruma, modelin dışında çalışan kontrollerle sağlanır: girdi ve çıktı filtreleri, yetki sınırları, şema doğrulaması ve kayıt tutma.
Guardrail halüsinasyonu engeller mi?
Tamamen engellemez. Cevabın yalnız verilen kaynaklara dayanmasını kontrol eden ve kaynak yoksa cevabı durduran kurallar riski azaltır. Kritik konularda cevabın bir insan tarafından gözden geçirilmesi yine gerekir.
Guardrail kullanıcı deneyimini bozar mı?
Fazla sıkı kurallar meşru soruları da reddeder. Kuralları gerçek kullanıcı sorularıyla test etmek, reddedilen istekleri düzenli incelemek ve reddederken kullanıcıya bir sonraki adımı göstermek dengeyi kurmanın yoludur.
Dönüşümünüzü birlikte konuşalım
Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.
Nasıl başlıyoruz?
- Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
- 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
- Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.