Tekniği seçmeden hataya isim koyun
Asistan güncel politikayı bulamıyorsa önce retrieval tarafına bakın. Doğru kanıt elindeyken görevi sürekli yanlış yapıyorsa prompt, örnekler ve gerekirse fine-tuning değerlendirilir. Hatayı sınıflandırmadan teknik seçmek sistemi daha pahalı yapabilir, daha faydalı değil.
Microsoft'un rehberi de temel ayrımı böyle kuruyor: RAG, cevabı özel veya değişen veriye dayandırır; fine-tuning davranış, üslup ve görev performansını hedefler. Bu bir karar çerçevesidir, herhangi bir veri kümesinde başarı garantisi değildir. Microsoft RAG rehberi
Soru hangi yöntemin daha gelişmiş olduğu değil, gözlenen hatanın hangi bölümünü düzeltebileceğidir.
Eksik kanıt ile yanlış kullanılan kanıtı ayırın
Temsili bir destek asistanının garanti sorusunu cevapladığını düşünelim. Politika indekste olmayabilir, bulunamayabilir, ilgili istisna olmadan getirilebilir veya eksiksiz getirildiği halde yanlış yorumlanabilir.
Bu durumlar farklı deney ister. Eğitim örneği eklemek yarın değişen politikanın bulunacağını göstermez. Daha çok metin getirmek de koşulun doğru yorumlanacağını kanıtlamaz. Tek bir genel kalite puanı bu ayrımı gizleyebilir.
Soruyu, yetkili kaynağı, getirilen parçaları ve son cevabı birlikte kaydedin. İnceleyen kişiden sonucun ilk nerede saptığını işaretlemesini isteyin. Böylece genel bir iyileştirme talebi yerine somut onarım hedefi çıkar.
Retrieval kaynak yaşam döngüsü ister
RAG'de hangi belgenin yetkili olduğu, değişikliğin nasıl geldiği ve belge kaldırılınca ne olacağı belirlenmelidir. Yetki kontrolü, kısıtlı metin modele veya kullanıcıya gösterilmeden uygulanmalıdır.
Politika asistanında ilgili bölümü gösteren ve kanıt yetersizken bunu söyleyen cevap tercih edilmelidir. Dayanağı olmayan makul cevap, açıkça cevap verememekten daha kötü olabilir.
Belge güncellendiğinde yalnız indeksleme durumunu değil, üretilen cevabı da test edin. Kullanışlı RAG ürünü rehberi, erişim, güncellik ve retrieval sorumluluklarını genişletir.
Fine-tuning tutarlı hedef ve temiz örnek ister
İstenen davranış açıkça tarif edilebiliyorsa, prompt yaklaşımı değerlendirilmişse ve temsili örnekler varsa fine-tuning düşünülebilir. Özel bir çıktı biçimi veya tekrar eden alan görevi aday olabilir. Uygunluk seçilen modele ve eğitim yöntemine bağlıdır.
Eğitim örneklerini hazırlamakta kullanılmayan ayrı bir değerlendirme kümesi tutun. Aksi halde deney, yeni işler üzerindeki başarı yerine tanıdık örnekleri ödüllendirebilir.
Geçmiş cevapların tamamı iyi eğitim verisi değildir. Eski kayıtlarda çelişkiler, hassas bilgiler veya tekrarlanmaması gereken geçici çözümler bulunabilir. Veri kümesinin sahibi ve amacı belli olmalıdır.
Yöntemler birlikte kullanılabilir. Fine-tuning yapılmış model retrieval ile gelen kanıtı işleyebilir; ancak kaynak, yetki ve cevaplanmaması gereken soru testleri yine gereklidir.
Bu hafta dar kapsamlı karşılaştırma yapın
Temsili hataları kaynak yokluğu, retrieval hatası, yorum hatası, çıktı uyumsuzluğu ve politika ihlali olarak ayırın. Önce kanıtlanmış en sade eksikliği giderin.
Soruları sabit tutarak mevcut sistemi sınırlı bir retrieval veya davranış değişikliğiyle karşılaştırın. Güncellenen belge, görülmemiş örnek ve reddedilmesi gereken isteği de ekleyin.
Clodron'un AI asistan geliştirmesi, bu teşhisi ölçülebilir yapmalıdır. Mimari diyagrama eğitim kutusu eklemek değil, aynı koşullarda daha doğru sonuca ulaşmak kararın gerekçesidir.
