Bağlam penceresi nedir?

Bağlam penceresi (context window), bir dil modelinin tek bir istekte okuyup dikkate alabildiği en fazla metin miktarını token cinsinden belirleyen sınırdır. Sistem talimatı, sohbet geçmişi, eklenen belgeler ve modelin yazdığı cevap bu sınıra birlikte sığmak zorundadır. Sınır aşıldığında eski bölümler düşer veya istek reddedilir; bu yüzden modele neyi göstereceğinizi seçmeniz gerekir.

Tanım

Bağlam penceresi (context window), bir dil modelinin tek bir istekte okuyup dikkate alabildiği en fazla metin miktarını token cinsinden belirleyen sınırdır.

Bağlam penceresi nasıl çalışır?

Bir büyük dil modeli metni kelime olarak değil token olarak okur. Bağlam penceresi, tek bir istekte işlenebilecek token sayısının üst sınırıdır. Bu sınıra girdi de çıktı da dahildir: sistem talimatı, sohbet geçmişi, eklediğiniz belgeler, araç çıktıları ve modelin yazacağı cevap. Sınır modelden modele değişir ve yeni sürümlerde genellikle büyür.

Bağlam penceresi neden önemlidir?

Üç şeyi belirler: modele ne kadar belge gösterebileceğinizi, bir sohbetin ne kadar uzayabileceğini ve isteğin maliyetini. Pencereyi doldurmak her zaman iyi sonuç vermez. Bağlam uzadıkça maliyet ve yanıt süresi artar. Model uzun metnin ortasındaki ayrıntıları da atlayabilir.

Bu nedenle kurumsal asistanlarda tüm arşiv modele verilmez. RAG ile yalnız soruyla ilgili parçalar seçilir ve bağlama eklenir. Belgelerin hangi büyüklükte parçalara bölündüğü, pencereye neyin sığacağını doğrudan etkiler.

Türkçe belgelerle çalışırken nelere dikkat edilir?

Türkçe eklemli bir dildir ve aynı içerik çoğu zaman İngilizceye göre daha fazla token tutar. Yani aynı pencereye daha az Türkçe sayfa sığar. Uzun sözleşme, şartname veya mevzuat metinleriyle çalışıyorsanız hesabı kendi Türkçe örneklerinizle yapın.

Bağlama giren her metin model sağlayıcısına gönderilir. Kişisel veri içeren belgelerde neyin bağlama gireceğini KVKK açısından tasarım aşamasında sınırlayın.

İlgili yazılar

İlgili terimler

Sık sorulan sorular

Bağlam penceresi büyük olan model her zaman daha mı iyidir?

Hayır. Büyük pencere daha çok metni tek seferde vermenizi sağlar, ama her token ücretlendirilir ve cevap süresi uzar. Çok uzun bağlamlarda model ortadaki ayrıntıları gözden kaçırabilir. Çoğu iş için ilgili bölümleri seçip vermek daha iyi sonuç verir.

Bağlam penceresi modelin hafızası mıdır?

Kalıcı hafıza değildir. Model yalnız o istekte kendisine gönderilen metni görür. Sohbetin devam ediyor görünmesinin nedeni, uygulamanın geçmişi her istekte yeniden göndermesidir. Kalıcı bilgi için belge dizini veya ayrı bir hafıza katmanı gerekir.

Pencere dolduğunda ne olur?

Uygulamaya göre değişir. Bazıları en eski mesajları atar, bazıları geçmişi özetler, bazıları hata döndürür. Uzun bir sohbette modelin baştaki bir talimatı unutması çoğu zaman bu yüzdendir.

Dönüşümünüzü birlikte konuşalım

Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.

Nasıl başlıyoruz?

  1. Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
  2. 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
  3. Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.

Örnek sorular

Doğrudan gidin

CorrAI sitenin içeriğine dayanarak yapay zeka ile cevap verir ve hata yapabilir. Lütfen kişisel bilgi yazmayın. Gizlilik

Ücretsiz görüşme planlayın