Bağlam penceresi nedir?
Bağlam penceresi (context window), bir dil modelinin tek bir istekte okuyup dikkate alabildiği en fazla metin miktarını token cinsinden belirleyen sınırdır. Sistem talimatı, sohbet geçmişi, eklenen belgeler ve modelin yazdığı cevap bu sınıra birlikte sığmak zorundadır. Sınır aşıldığında eski bölümler düşer veya istek reddedilir; bu yüzden modele neyi göstereceğinizi seçmeniz gerekir.
Tanım
Bağlam penceresi (context window), bir dil modelinin tek bir istekte okuyup dikkate alabildiği en fazla metin miktarını token cinsinden belirleyen sınırdır.
Bağlam penceresi nasıl çalışır?
Bir büyük dil modeli metni kelime olarak değil token olarak okur. Bağlam penceresi, tek bir istekte işlenebilecek token sayısının üst sınırıdır. Bu sınıra girdi de çıktı da dahildir: sistem talimatı, sohbet geçmişi, eklediğiniz belgeler, araç çıktıları ve modelin yazacağı cevap. Sınır modelden modele değişir ve yeni sürümlerde genellikle büyür.
Bağlam penceresi neden önemlidir?
Üç şeyi belirler: modele ne kadar belge gösterebileceğinizi, bir sohbetin ne kadar uzayabileceğini ve isteğin maliyetini. Pencereyi doldurmak her zaman iyi sonuç vermez. Bağlam uzadıkça maliyet ve yanıt süresi artar. Model uzun metnin ortasındaki ayrıntıları da atlayabilir.
Bu nedenle kurumsal asistanlarda tüm arşiv modele verilmez. RAG ile yalnız soruyla ilgili parçalar seçilir ve bağlama eklenir. Belgelerin hangi büyüklükte parçalara bölündüğü, pencereye neyin sığacağını doğrudan etkiler.
Türkçe belgelerle çalışırken nelere dikkat edilir?
Türkçe eklemli bir dildir ve aynı içerik çoğu zaman İngilizceye göre daha fazla token tutar. Yani aynı pencereye daha az Türkçe sayfa sığar. Uzun sözleşme, şartname veya mevzuat metinleriyle çalışıyorsanız hesabı kendi Türkçe örneklerinizle yapın.
Bağlama giren her metin model sağlayıcısına gönderilir. Kişisel veri içeren belgelerde neyin bağlama gireceğini KVKK açısından tasarım aşamasında sınırlayın.
İlgili yazılar
RAG projesinin maliyetini ne belirler?RAG bilgi asistanında tek seferlik ve işletme maliyet kalemleri, maliyeti artıran ve düşüren tercihler, teklif öncesi hazırlık.
RAG sistemi nasıl değerlendirilir?RAG sistemlerinde getirme ve üretim kalitesini ölçmek için test seti, metrik seçimi, LLM ile değerlendirme ve canlı izleme.
Yapay zeka ile süreç otomasyonuDil modellerinin iş akışlarına nerede girdiği, hangi süreçle başlanacağı ve insan onayı, KVKK ve ölçümün nasıl kurulacağı.İlgili terimler
- Token (Yapay Zeka)Token, bir dil modelinin metni okurken ve yazarken kullandığı, çoğu zaman kelimeden küçük olan ve kullanım ücretinin hesaplandığı metin birimidir.
- LLM (Büyük Dil Modeli)LLM (Large Language Model, büyük dil modeli), çok büyük metin verisiyle eğitilmiş ve bir metnin devamını tahmin ederek soru cevaplayan, özetleyen, çeviren ve yazan bir yapay zeka modelidir.
- RAG (Retrieval-Augmented Generation)RAG (Retrieval-Augmented Generation), bir dil modelinin cevap üretmeden önce şirketinizin belgelerinden ilgili bölümleri bulup bağlam olarak kullanmasını sağlayan bir yapay zeka mimarisidir.
- Chunking (Parçalama)Chunking, uzun belgeleri embedding ve arama için anlamca bütün, daha küçük parçalara bölen bir RAG hazırlık adımıdır.
- Sistem Promptu (System Prompt)Sistem promptu, bir dil modeline konuşma başlamadan önce verilen ve modelin rolünü, üslubunu, sınırlarını ve çıktı biçimini belirleyen talimat metnidir.
Sık sorulan sorular
Bağlam penceresi büyük olan model her zaman daha mı iyidir?
Hayır. Büyük pencere daha çok metni tek seferde vermenizi sağlar, ama her token ücretlendirilir ve cevap süresi uzar. Çok uzun bağlamlarda model ortadaki ayrıntıları gözden kaçırabilir. Çoğu iş için ilgili bölümleri seçip vermek daha iyi sonuç verir.
Bağlam penceresi modelin hafızası mıdır?
Kalıcı hafıza değildir. Model yalnız o istekte kendisine gönderilen metni görür. Sohbetin devam ediyor görünmesinin nedeni, uygulamanın geçmişi her istekte yeniden göndermesidir. Kalıcı bilgi için belge dizini veya ayrı bir hafıza katmanı gerekir.
Pencere dolduğunda ne olur?
Uygulamaya göre değişir. Bazıları en eski mesajları atar, bazıları geçmişi özetler, bazıları hata döndürür. Uzun bir sohbette modelin baştaki bir talimatı unutması çoğu zaman bu yüzdendir.
Dönüşümünüzü birlikte konuşalım
Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.
Nasıl başlıyoruz?
- Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
- 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
- Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.