Bir iç asistan lansman sorularına kusursuz cevap veriyordu. Bir hafta sonra bir çalışana eski policy'yi aktardı, başka birine ise erişimi kısıtlı projenin adını gösterdi. Retrieval çalışıyordu. Ürün çalışmıyordu.
RAG teknik bir örüntüyü anlatır: İlgili materyali bul, context'e koy, cevap üret. Hangi materyalin ilgili olduğunu, kimin görebileceğini, ne kadar hızlı değiştiğini veya kanıt yetmediğinde ne olacağını belirlemez. Ürün bu kararlardır.
Retrieval kalitesi vector'dan önce başlar
Kullanışlı index için tutarlı kaynak doküman, sabit kimlik, anlamlı metadata ve doğru sınırlar gerekir. Bir handbook sayfası birbiriyle ilgisiz birçok policy taşıyorsa tamamını çekmek gürültü üretir. Chunk başlık, owner veya yürürlük tarihini kaybederse model otoriteyi değerlendiremez. Duplicate kayıt kalırsa eski kopya güncel kaydı bastırabilir.
Retrieval'ı generation'dan ayrı test edin. Gerçek soru için hangi parçaların, hangi sırayla ve hangi metadata ile geldiğini inceleyin. Kesin terimleri, paraphrase'leri, kısaltmaları, isimleri ve dil varyasyonlarını kapsayın. Akıcı son cevap zayıf retrieval sonucunu model hafızasından doldurarak saklayabilir.
Permission retrieval'ın içinde olmalı
Generation sonrasında filtrelemek geçtir. Retriever yalnızca authenticated kullanıcının okuyabileceği dokümanları döndürmelidir. Permission metadata içerikle birlikte taşınmalı ve query anında uygulanmalıdır. Cache edilmiş cevaplar ile konuşma geçmişi aynı sınıra tabidir.
Microsoft'un doküman seviyesinde erişim rehberi, çağıran kullanıcının kimliği ile index içindeki doküman permission metadata'sının eşleştirilmesini anlatır. Operasyonel açığı da gösterir: Kaynaktaki yetki değişikliği ancak metadata senkronize olduktan sonra sonuca yansır. Güvenli tasarım hem query-time kontrol hem de tanımlı sync yolu ister.
Her şeyi ortak service credential ile çekip modelden hassas parçaları saklamasını istemeyin. Model, kullanıcının erişemediği içeriği hiç almamalıdır.
Güncellik için owner ve saat gerekir
RAG sistemi şirket bilgisinin ikinci temsilidir. Ingestion trigger, monitoring ve recovery yoksa eskir. Hangi kaynağın event ile, hangisinin polling ile, hangisinin insan yayınıyla güncellendiğini belirleyin. Source revision ve indexed time saklayın. Bunları diagnostics ve citation içinde görünür yapın.
Silme, ekleme kadar önemlidir. Doküman geri çekildiğinde veya erişim değiştiğinde index, cache ve türetilmiş özetler onu izlemeli. Başarılı ingestion job, kaynağın bir kısmı sessizce başarısız olduysa güncellik kanıtı değildir. Kaynak bazında gecikmeyi izleyin, eksik veya olağandışı eski içerikte alarm üretin.
"Bilmiyorum" bir ürün özelliğidir
Asistanın yetersiz kanıt için açık sınırı olmalı. Bu sınır prompt'a eklenen nazik cümleden ibaret kalamaz. Gelen parçaların cevabı destekleyip desteklemediğini ölçün. Citation, mevcut kullanıcının açabildiği içeriğe çözülmeli. Kaynaklar çelişiyorsa çelişkiyi gösterin veya owner'a yönlendirin.
Refusal faydalı olmalı. Nelerin arandığını, hangi kanıtın eksik olduğunu ve hangi ekip ya da sistemin yetkili olduğunu söyleyebilir. Belirsizlik böylece sonraki adıma dönüşür. Uydurulmuş tamlık ise gizli riske dönüşür.
Bu hafta asistanı operasyonel hale getirin
Gerçek ekiplerin tekrar eden sorularından expected source, permission rolü ve freshness koşulu içeren test seti kurun. Önce generation olmadan retrieval çalıştırın. Prompt tuning'den önce eksik metadata'yı, duplicate kaynakları ve chunk sınırlarını düzeltin.
Sonra aynı soruyu farklı erişime sahip kullanıcılarla test edin. Bir dokümanın yetkisini kaldırın ve search, cache, citation içinden ne kadar sürede çıktığını ölçün. Hiçbir kaynağın cevaplamadığı vakaları ekleyip beklenen refusal'ı tanımlayın.
Son olarak her kaynağa ve asistanın kendisine owner atayın. RAG demosu metnin bulunup yeniden yazılabildiğini kanıtlar. Ürün ise doğru kişiye güncel ve yetkili kanıtı verir, veremediğinde doğaçlama yapmayı reddeder.