Token nedir?
Token, bir dil modelinin metni okurken ve yazarken kullandığı, çoğu zaman kelimeden küçük olan ve kullanım ücretinin hesaplandığı metin birimidir. Modele gönderdiğiniz her talimat, belge ve soru token'lara bölünür; modelin cevabı da token token üretilir. Bu yüzden bir yapay zeka uygulamasının maliyeti, hızı ve işleyebileceği metin miktarı token sayısıyla ölçülür.
Tanım
Token, bir dil modelinin metni okurken ve yazarken kullandığı, çoğu zaman kelimeden küçük olan ve kullanım ücretinin hesaplandığı metin birimidir.
Token nasıl çalışır?
Bir büyük dil modeli metni doğrudan harf veya kelime olarak görmez. Tokenizer adı verilen bir bileşen metni önce parçalara böler. Sık kullanılan kısa bir kelime tek token olabilir. Uzun veya nadir bir kelime birkaç token’a ayrılır. Noktalama işaretleri ve boşluklar da sayılır. Model cevabını da aynı birimle, her adımda bir sonraki token’ı seçerek yazar. Her model ailesinin tokenizer’ı farklıdır; aynı metin farklı modellerde farklı sayıda token tutar.
Token sayısı neden önemlidir?
İki nedenle. Birincisi maliyettir: sağlayıcılar girdi ve çıktı token’larını ayrı ayrı ücretlendirir ve çıktı token’ları çoğu zaman daha pahalıdır. İkincisi sınırdır: modelin bağlam penceresi token ile ölçülür. Uzun bir sistem talimatı her istekte yeniden sayılır. Bu nedenle prompt mühendisliği yalnız kaliteyi değil faturayı da etkiler.
Türkçe metinlerde token hesabı nasıl değişir?
Türkçe eklemli bir dildir. “Değerlendiremeyeceklerimizden” gibi tek bir kelime birçok parçaya bölünebilir. Bu yüzden aynı içerik Türkçede çoğu zaman İngilizceye göre daha fazla token tutar. İngilizce örneklerle yapılmış bir maliyet tahmini Türkçe kullanımda düşük kalabilir.
Bütçe yaparken kendi belgelerinizden ve gerçek müşteri sorularından bir örnek alıp sayın. Büyük sağlayıcılar genellikle dövizle faturalandırır; TL bütçesinde kur payı bırakmak işinizi kolaylaştırır. Basit ve yüksek hacimli işler için bir küçük dil modeli token başına maliyeti belirgin şekilde düşürebilir.
İlgili yazılar
RAG projesinin maliyetini ne belirler?RAG bilgi asistanında tek seferlik ve işletme maliyet kalemleri, maliyeti artıran ve düşüren tercihler, teklif öncesi hazırlık.
İşiniz için LLM nasıl seçilir?Kurumsal kullanım için dil modeli seçiminde kriterler, erişim yolu, veri saklama, açık model ve kendi verinizle test yöntemi.
e-Fatura verisini ERP'ye otomatik aktarmakGelen e-Fatura, e-Arşiv ve PDF faturaları ERP'ye otomatik aktarmanın yöntemleri, eşleştirme adımları ve hata kontrolleri.İlgili terimler
- Bağlam Penceresi (Context Window)Bağlam penceresi (context window), bir dil modelinin tek bir istekte okuyup dikkate alabildiği en fazla metin miktarını token cinsinden belirleyen sınırdır.
- LLM (Büyük Dil Modeli)LLM (Large Language Model, büyük dil modeli), çok büyük metin verisiyle eğitilmiş ve bir metnin devamını tahmin ederek soru cevaplayan, özetleyen, çeviren ve yazan bir yapay zeka modelidir.
- Embedding (vektör temsili)Embedding, bir kelimeyi, cümleyi, belgeyi veya görseli anlamını koruyacak şekilde sabit uzunlukta bir sayı dizisine (vektöre) çeviren ve benzer içerikleri birbirine yakın konumlandıran bir temsil yöntemidir.
- Prompt mühendisliğiPrompt mühendisliği, bir dil modelinden tutarlı ve doğru sonuç almak için talimatları, örnekleri ve bağlamı yazma, test etme ve iyileştirme işidir.
- SLM (Küçük Dil Modeli)SLM (Small Language Model, küçük dil modeli), büyük dil modellerine göre çok daha az parametreyle çalışan, bu sayede daha ucuz, daha hızlı ve kendi altyapınızda çalıştırılabilen bir dil modelidir.
Sık sorulan sorular
Bir token kaç kelime eder?
Sabit bir oran yoktur. Dile, kelimeye ve modelin kullandığı tokenizer'a göre değişir. Kısa ve sık kelimeler tek token olabilir; uzun, ekli veya nadir kelimeler birkaç parçaya bölünür. Kesin sayı için sağlayıcının token sayma aracını kendi metninizle kullanın.
Bu token, sisteme girişte kullanılan erişim token'ı ile aynı şey mi?
Hayır. API anahtarı veya oturum token'ı kimlik doğrulama içindir. Dil modellerindeki token ise metnin bölündüğü birimdir. İki kavram yalnızca aynı kelimeyi paylaşır.
Token maliyeti nasıl düşürülür?
Gereksiz bağlamı çıkarın, uzun sohbet geçmişini özetleyin ve işe uygun en küçük modeli seçin. Sağlayıcınız destekliyorsa tekrarlanan uzun talimatlar için önbelleklemeyi kullanın. Çıktı uzunluğuna üst sınır koymak da faturayı öngörülebilir kılar.
Dönüşümünüzü birlikte konuşalım
Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.
Nasıl başlıyoruz?
- Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
- 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
- Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.