Prompt injection nedir?

Prompt injection, bir dil modelinin okuduğu girdiye gizlenen talimatlarla modelin asıl talimatlarını geçersiz kılmayı ve onu istenmeyen bir işe yöneltmeyi amaçlayan bir saldırı türüdür. Talimat sohbet kutusuna yazılabilir ya da modelin okuduğu bir e-postaya, web sayfasına veya belgeye saklanabilir. Model araç kullanabiliyorsa sonuç yanlış bir cevapla sınırlı kalmaz, veri sızıntısına veya yetkisiz işleme dönüşebilir.

Tanım

Prompt injection, bir dil modelinin okuduğu girdiye gizlenen talimatlarla modelin asıl talimatlarını geçersiz kılmayı ve onu istenmeyen bir işe yöneltmeyi amaçlayan bir saldırı türüdür.

Prompt injection nasıl çalışır?

Dil modeli talimat ile veriyi kesin biçimde ayıramaz. İkisi de aynı metin akışında gelir. Doğrudan saldırıda kullanıcı sohbet kutusuna “önceki talimatları yok say” benzeri bir metin yazar. Dolaylı saldırıda talimat, modelin okuduğu bir web sayfasına, e-postaya veya belgeye gizlenir.

Model bu metni veri yerine komut gibi ele alırsa sistem promptundaki kuralların dışına çıkabilir. OWASP, büyük dil modeli uygulamaları için hazırladığı risk listesinde prompt injection’a yer verir.

Risk ne zaman büyür?

Model yalnız metin üretiyorsa zarar çoğunlukla yanlış veya uygunsuz bir cevapla sınırlı kalır. Model araç çağırabiliyorsa durum değişir. E-posta gönderebilen, kayıt silebilen veya ödeme başlatabilen bir yapay zeka ajanı, gizlenmiş bir talimatla bu işlemleri saldırgan adına yapabilir.

Üç koşul bir arada olduğunda risk en yüksektir: özel veriye erişim, güvenilmeyen içerik okuma ve dışarıya veri gönderebilme.

Nasıl önlem alınır?

Tek bir önlem yeterli değildir. Ajanın yetkilerini işin gerektirdiği en dar kapsamda tutun. Geri alınamaz işlemlerde insan onayı isteyin. Girdi ve çıktıyı bir guardrail katmanıyla denetleyin ve her araç çağrısını kaydedin.

Kişisel veriye erişen bir asistanda başarılı bir saldırı veri ihlaline dönüşebilir. Bu senaryoyu KVKK kapsamındaki ihlal sürecinizle birlikte, hukuk danışmanınızla değerlendirin. Canlıya çıkmadan önce bilinen saldırı kalıplarıyla test yapmak da planın parçası olmalıdır.

İlgili yazılar

İlgili terimler

Sık sorulan sorular

Prompt injection tamamen engellenebilir mi?

Bugün bilinen hiçbir yöntem tam koruma sağlamaz. Bu yüzden amaç, saldırı başarılı olsa bile zararı sınırlamaktır: dar yetkiler, geri alınamaz işlemlerde insan onayı, girdi ve çıktı denetimi ve kayıt tutma birlikte kullanılır.

Prompt injection ile jailbreak aynı şey mi?

Yakın ama aynı değil. Jailbreak, modelin kendi güvenlik kurallarını aşmayı hedefler. Prompt injection ise bir uygulamanın talimatlarını hedef alır ve çoğu zaman üçüncü bir kişinin hazırladığı içerik üzerinden gelir.

Sistem promptuna 'bu talimatları asla değiştirme' yazmak yeterli mi?

Hayır. Bu tür cümleler basit denemeleri zorlaştırır ama güvenlik sınırı oluşturmaz. Asıl koruma modelin dışındadır: yetkilerin kısıtlanması, araç çağrılarının denetlenmesi ve hassas işlemlerde onay adımı.

Dönüşümünüzü birlikte konuşalım

Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.

Nasıl başlıyoruz?

  1. Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
  2. 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
  3. Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.

Örnek sorular

Doğrudan gidin

CorrAI sitenin içeriğine dayanarak yapay zeka ile cevap verir ve hata yapabilir. Lütfen kişisel bilgi yazmayın. Gizlilik

Ücretsiz görüşme planlayın