Token nedir?

Token, bir dil modelinin metni okurken ve yazarken kullandığı, çoğu zaman kelimeden küçük olan ve kullanım ücretinin hesaplandığı metin birimidir. Modele gönderdiğiniz her talimat, belge ve soru token'lara bölünür; modelin cevabı da token token üretilir. Bu yüzden bir yapay zeka uygulamasının maliyeti, hızı ve işleyebileceği metin miktarı token sayısıyla ölçülür.

Tanım

Token, bir dil modelinin metni okurken ve yazarken kullandığı, çoğu zaman kelimeden küçük olan ve kullanım ücretinin hesaplandığı metin birimidir.

Token nasıl çalışır?

Bir büyük dil modeli metni doğrudan harf veya kelime olarak görmez. Tokenizer adı verilen bir bileşen metni önce parçalara böler. Sık kullanılan kısa bir kelime tek token olabilir. Uzun veya nadir bir kelime birkaç token’a ayrılır. Noktalama işaretleri ve boşluklar da sayılır. Model cevabını da aynı birimle, her adımda bir sonraki token’ı seçerek yazar. Her model ailesinin tokenizer’ı farklıdır; aynı metin farklı modellerde farklı sayıda token tutar.

Token sayısı neden önemlidir?

İki nedenle. Birincisi maliyettir: sağlayıcılar girdi ve çıktı token’larını ayrı ayrı ücretlendirir ve çıktı token’ları çoğu zaman daha pahalıdır. İkincisi sınırdır: modelin bağlam penceresi token ile ölçülür. Uzun bir sistem talimatı her istekte yeniden sayılır. Bu nedenle prompt mühendisliği yalnız kaliteyi değil faturayı da etkiler.

Türkçe metinlerde token hesabı nasıl değişir?

Türkçe eklemli bir dildir. “Değerlendiremeyeceklerimizden” gibi tek bir kelime birçok parçaya bölünebilir. Bu yüzden aynı içerik Türkçede çoğu zaman İngilizceye göre daha fazla token tutar. İngilizce örneklerle yapılmış bir maliyet tahmini Türkçe kullanımda düşük kalabilir.

Bütçe yaparken kendi belgelerinizden ve gerçek müşteri sorularından bir örnek alıp sayın. Büyük sağlayıcılar genellikle dövizle faturalandırır; TL bütçesinde kur payı bırakmak işinizi kolaylaştırır. Basit ve yüksek hacimli işler için bir küçük dil modeli token başına maliyeti belirgin şekilde düşürebilir.

İlgili yazılar

İlgili terimler

Sık sorulan sorular

Bir token kaç kelime eder?

Sabit bir oran yoktur. Dile, kelimeye ve modelin kullandığı tokenizer'a göre değişir. Kısa ve sık kelimeler tek token olabilir; uzun, ekli veya nadir kelimeler birkaç parçaya bölünür. Kesin sayı için sağlayıcının token sayma aracını kendi metninizle kullanın.

Bu token, sisteme girişte kullanılan erişim token'ı ile aynı şey mi?

Hayır. API anahtarı veya oturum token'ı kimlik doğrulama içindir. Dil modellerindeki token ise metnin bölündüğü birimdir. İki kavram yalnızca aynı kelimeyi paylaşır.

Token maliyeti nasıl düşürülür?

Gereksiz bağlamı çıkarın, uzun sohbet geçmişini özetleyin ve işe uygun en küçük modeli seçin. Sağlayıcınız destekliyorsa tekrarlanan uzun talimatlar için önbelleklemeyi kullanın. Çıktı uzunluğuna üst sınır koymak da faturayı öngörülebilir kılar.

Dönüşümünüzü birlikte konuşalım

Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.

Nasıl başlıyoruz?

  1. Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
  2. 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
  3. Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.

Örnek sorular

Doğrudan gidin

CorrAI sitenin içeriğine dayanarak yapay zeka ile cevap verir ve hata yapabilir. Lütfen kişisel bilgi yazmayın. Gizlilik

Ücretsiz görüşme planlayın