Anlamsal arama nedir?
Anlamsal arama, sorgudaki kelimelerin birebir eşleşmesine değil metnin anlamına bakarak en ilgili içeriği bulan bir arama yöntemidir. Kullanıcı 'yıllık izin kaç gün' diye sorduğunda, içinde bu kelimeler geçmese de izin sürelerini anlatan yönetmelik maddesini bulabilir. Kurumsal bilgi asistanlarının ve RAG sistemlerinin doğru belgeye ulaşması bu yönteme dayanır.
Tanım
Anlamsal arama, sorgudaki kelimelerin birebir eşleşmesine değil metnin anlamına bakarak en ilgili içeriği bulan bir arama yöntemidir.
Anlamsal arama nasıl çalışır?
Önce içerik parçalara bölünür ve her parça bir embedding modeliyle sayısal vektöre çevrilir. Anlamca yakın metinlerin vektörleri de birbirine yakın olur. Vektörler bir vektör veritabanında saklanır. Kullanıcı soru sorduğunda soru da vektöre çevrilir ve ona en yakın parçalar döndürülür. Eşleşen kelime olması gerekmez.
Ne zaman anlamsal arama kullanılır?
Kullanıcıların doğal dille soru sorduğu ve aynı şeyi farklı kelimelerle anlattığı her yerde. İç bilgi bankası, destek arşivi, ürün kataloğu ve site içi arama tipik örneklerdir. RAG mimarisinde modele verilecek bağlam bu aramayla seçilir.
Anlamsal arama birebir eşleşmede zayıf kalabilir. Sipariş numarası, stok kodu veya kanun maddesi numarası arayan bir sorguda anahtar kelime araması daha isabetlidir. Bu yüzden ikisi çoğu zaman hibrit aramada birleştirilir. İlk sonuçlar ayrıca reranking adımıyla yeniden sıralanabilir.
Türkçe içerikte anlamsal arama nasıl sonuç verir?
Türkçe eklemli bir dildir. Aynı kelime onlarca farklı ekle karşınıza çıkar ve klasik kelime eşleşmesi bunları kaçırabilir. Anlamsal arama bu sorunu büyük ölçüde hafifletir. Bunun için Türkçeyi iyi temsil eden çok dilli bir embedding modeli seçmeniz gerekir.
Model seçimini genel karşılaştırmalara göre değil, kendi belgeleriniz ve gerçek kullanıcı sorularınızla test ederek yapın. Fatura numarası, vergi kimlik numarası ve ürün kodu gibi alanlar için hibrit aramayı baştan planlayın.
İlgili yazılar
RAG sistemi nasıl değerlendirilir?RAG sistemlerinde getirme ve üretim kalitesini ölçmek için test seti, metrik seçimi, LLM ile değerlendirme ve canlı izleme.
RAG projesinin maliyetini ne belirler?RAG bilgi asistanında tek seferlik ve işletme maliyet kalemleri, maliyeti artıran ve düşüren tercihler, teklif öncesi hazırlık.
İşiniz için LLM nasıl seçilir?Kurumsal kullanım için dil modeli seçiminde kriterler, erişim yolu, veri saklama, açık model ve kendi verinizle test yöntemi.İlgili terimler
- Embedding (vektör temsili)Embedding, bir kelimeyi, cümleyi, belgeyi veya görseli anlamını koruyacak şekilde sabit uzunlukta bir sayı dizisine (vektöre) çeviren ve benzer içerikleri birbirine yakın konumlandıran bir temsil yöntemidir.
- Vektör veritabanıVektör veritabanı, metin, görsel veya ses gibi içerikleri temsil eden sayısal vektörleri saklayan ve bir sorguya anlamca en yakın kayıtları hızlıca bulan bir veritabanıdır.
- RAG (Retrieval-Augmented Generation)RAG (Retrieval-Augmented Generation), bir dil modelinin cevap üretmeden önce şirketinizin belgelerinden ilgili bölümleri bulup bağlam olarak kullanmasını sağlayan bir yapay zeka mimarisidir.
- Reranking (Yeniden Sıralama)Reranking, ilk aramadan dönen aday sonuçları sorguyla ilgisine göre ikinci bir modelle yeniden sıralayan bir RAG adımıdır.
- Chunking (Parçalama)Chunking, uzun belgeleri embedding ve arama için anlamca bütün, daha küçük parçalara bölen bir RAG hazırlık adımıdır.
Sık sorulan sorular
Anlamsal arama ile anahtar kelime araması arasındaki fark ne?
Anahtar kelime araması sorgudaki kelimeleri metinde arar. Anlamsal arama ise sorgunun ve metnin anlamını karşılaştırır, bu yüzden eş anlamlıları ve farklı ifade biçimlerini yakalar. Ürün kodu gibi birebir eşleşme gereken sorgularda anahtar kelime araması daha güvenilirdir.
Hibrit arama nedir?
Anlamsal arama ile anahtar kelime aramasının sonuçlarını birleştiren yöntemdir. Doğal dilde sorulan sorularda anlam, kod ve özel adlarda kelime eşleşmesi öne çıkar. Kurumsal belgelerde çoğu zaman tek başına her iki yöntemden daha iyi sonuç verir.
Anlamsal arama için vektör veritabanı şart mı?
Küçük bir belge kümesinde şart değildir. Belge sayısı arttıkça vektörleri hızlı aramak için bir vektör veritabanı veya PostgreSQL üzerinde pgvector gibi bir eklenti gerekir.
Dönüşümünüzü birlikte konuşalım
Hangi işin her hafta tekrarlandığını anlatın. Otomasyona değip değmeyeceğini açıkça söyleyelim.
Nasıl başlıyoruz?
- Ücretsiz ilk görüşmeSorunu ve hedefi birlikte netleştiriyoruz.
- 2 haftalık keşif programıVeriye, sürece ve araçlara bakıp nereden başlanacağını belirliyoruz.
- Yazılı teklifKapsamı, mimariyi ve takvimi yazılı olarak sunuyoruz.