Ucuz yol pahalı bir düzeltme üretiyor
Kısa istek, kısa olan kolaydır varsayımıyla daha ucuz modele gidiyor. Yanıt anlaşılır görünüyor ama müşterinin uygunluğunu değiştiren koşulu atlıyor. Sonucu daha sonra bir çalışan elle düzeltiyor. Model faturası düşmüş, iş akışı kötüleşmiş oluyor.
Model yönlendirme, hangi işe hangi yeteneğin ayrılacağına dair ürün kararıdır. Sadece en ucuz cevabı seçme isteği değil, açık kalite sınırı gerektirir. Girdi uzunluğunu ölçmek kolaydır; bu, uzunluğu zorluk veya sonuç için iyi bir gösterge yapmaz.
Varsayımsal bir hizmet asistanında çalışma saatini sormak ile hesap politikasındaki istisnayı yorumlatmak aynı kısalıkta olabilir. Kanıt olmadan aynı yola yönlendirilmemeliler.
Zorluk ile sonucu ayır
Bir işi anlatmak kolay, yanlış yapmak pahalı olabilir. Nasıl işleneceğine karar vermeden önce eylemi ve sonucunu tanımlamak gerekir. Çalışanın inceleyeceği etiket önerisiyle müşteri kaydını değiştiren talimat aynı riski taşımaz.
Tercih ettiğimiz brief; görev türlerini, her tür için gereken kanıtı ve belirsizliğin nerede otomasyondan çıkacağını anlatır. Bazı işler daha güçlü modele ihtiyaç duyar. Bazıları ise daha fazla model kapasitesine değil, deterministik sorguya, yetki kontrolüne veya insan kararına ihtiyaç duyar.
Bu seçenekler görünür kalmalı. Yalnızca modeller arasında seçim yapabilen mimari, her sorunu zekâ eksikliği gibi ele almaya yatkındır. Eksik veri ve eksik yetki, model değişince ortadan kalkmaz.
Router'ı sistemin parçası olarak değerlendir
Aday model test setini geçebilir, ama yanlış görevler kendisine geldiği için gerçek uygulamada başarısız olabilir. Birleşik yol değerlendirilmeli: Sınıflandırma, seçilen model, yardımcı araçlar ve nihai sonuç. Temsilî örneklerde beklenen yol ile seçilen yol birlikte kaydedilmeli.
Google'ın değerlendirme rehberi, genel bir kalite puanının her soruya cevap verdiğini varsaymak yerine hedefin ve göreve özgü ölçütlerin tanımlanmasıyla başlıyor. Metrik rehberi bu yaklaşımı açıklıyor.
Hizmet örneğinde müşteri, gerekli dayanaklarla doğru sonraki adıma ulaşmış mı diye bakılabilir. Rutin sorgular, belirsiz talepler, eksik bilgiler ve sonuç doğuran işlemler ayrı incelenmeli. Genel ortalama, en önemli gruptaki gerilemeyi gizleyebilir.
Fallback de test edilecek bir yoldur
Tercih edilen model erişilemez olduğunda yedek yol, hiç onaylanmadığı sorumlulukları sessizce devralmamalı. Uygulama işi erteleyebilir, yapılacak işlemi daraltabilir veya inceleme isteyebilir. Erişilebilir olmak önemlidir; dayanaksız karar üretmek kullanılabilir kalmakla aynı şey değildir.
Fallback, normal yol kadar açık tanımlanmalı. İşin tamamını mı koruduğu, sınırlı hizmet mi verdiği belirtilmeli. Neden seçildiği kayda girmeli ki olay incelemesinde planlı yönlendirme ile zorunlu geçiş ayrılabilsin.
İlk yanıttan sonraki iş de hesaba katılmalı. Retry, üst incelemeye taşıma ve düzeltme karşılaştırmanın parçasıdır. Düşük ilk model maliyeti, toplam yolun ekonomik olduğunu kanıtlamaz. Daha yavaş yol, tekrar tekrar müdahale gerektirmiyorsa kabul edilebilir.
Bu hafta tamamlanan işleri karşılaştır
Mevcut akışı seçip kullanımı onaylı ve uygun biçimde işlenmiş veriden temsilî örnekler oluşturalım. Basit görünen ama önemli koşul taşıyan durumları ekleyelim. Yolları karşılaştırmadan önce beklenen sonuç ve izin verilen eylemi tanımlayalım.
Mevcut yolu, önerilen yönlendirmeyi ve fallback'i aynı örneklerde çalıştıralım. Yanlış yönlendirmeyi yanlış model cevabından ayrı inceleyelim. Yayılımı geri alınabilir tutup yeni hataları bu sınıflarla değerlendirelim. Yolu, yalnızca fiyat hesabı cazip olduğu için değil tamamlanan iş bu kararı desteklediğinde değiştirelim.