Prototiple değil kararla başlayın
İki haftalık AI pilotunun sonunda yazılı bir devam ya da dur kararı bulunmalıdır. Planlanan sonuç yalnızca demo toplantısıysa pilot daha baştan yanlış kapsamlanmıştır.
Karar metni iş akışını, kullanıcıyı, kabul edilebilir hata sınırını ve iyileştirilmeye değer iş sonucunu tanımlamalıdır. Projeyi durduracak sonuç da baştan yazılmalıdır. Durdurma koşulu yoksa her zayıf çıktı yeni bir prompt ayarı için gerekçeye dönüşür.
NIST AI Risk Management Framework, bağlamı, beklenen faydayı, maliyeti ve riski ilk devam ya da dur kararının girdileri olarak ele alır. Pilotun amacı modelin etkileyici bir yanıt üretebildiğini kanıtlamak değildir. Amaç, önerilen sistemin belirli bir şirket sürecinde işe yarayıp yaramadığını görmektir.
Özellikten önce testi kurun
Gerçek işten alınmış temsil gücü olan vakalarla başlayın. Normal girdilerin yanında sorunlu girdiler ve reddedilmesi ya da insana aktarılması gereken durumlar da yer alsın. Üretim verisinin kullanım izni yoksa kişisel bilgileri çıkarın, fakat görevin zorluğunu ortadan kaldırmayın.
Her vakanın beklenen sonucu veya açık bir puanlama kuralı olmalıdır. Bazı işler kesin yanıt taşır. Bazılarında alan uzmanları doğruluk, eksiksizlik, ton ve güvenli davranış üzerinden karşılaştırma yapar. OpenAI'ın değerlendirme API'si de aynı yapıyı kurar: değerlendirme, veri kaynağını açık test kriterleri ve grader'larla birleştirir.
Mevcut manuel süreci de aynı set üzerinde çalıştırın. Referans noktası olmadan AI çıktısı akıllı görünebilir, fakat yerini alacağı deneyimli operatörden daha yavaş, daha pahalı veya daha az güvenilir olabilir.
Değerlendirmeyi sona bırakmayın. Prompt, model, araçlar veya retrieval mantığı değiştiğinde başlangıç seti yeniden çalışmalıdır.
Uçtan uca dar bir kesit kurun
Pilot, tek bir vakayı girdiden kullanılabilir sonuca kadar gelecekteki ürünün gerçek sınırları içinden geçirmelidir. Fikir destek taleplerini okuyorsa sistem ilgili müşteri bağlamını bulmalı, yanıt taslağı hazırlamalı, kaynakları kaydetmeli ve belirsiz durumları operatöre aktarmalıdır. Chat penceresine yapıştırılmış prompt bu kesit değildir.
Erişim varsa gerçek arayüzleri kullanın, ancak önemli aksiyonları salt okunur tutun veya açık onaya bağlayın. Girdi, getirilen bağlam, model ayarı, çıktı, araç çağrıları, gecikme, kullanım maliyeti ve inceleme kararı kaydedilsin. Bu kayıt hatanın nedenini gösterir ve sonraki karşılaştırmaları mümkün kılar.
Pilot entegrasyon yolunu da görünür hale getirmelidir. Gerekli erişimler, yetki kapsamları, ulaşılamayan alanlar, rate limit'ler ve bağlı sistemlerin sahipleri belirlenmelidir. Model kalite testini geçebilir, ancak gerekli veriye güvenli erişim yoksa proje yine başarısızdır.
Hiçbir şey kanıtlamayan pilot
En yaygın hata, kolay örneklerden hazırlanmış kontrollü demodur. Bir kişi yanıtlara bakarak prompt'u düzeltir, kötü çalışan vakaları çıkarır ve en güçlü çıktıyı sunar. Toplantı modelin yeteneğini görür, fakat güvenilirliği hakkında bilgi edinmez.
Bir başka boş pilot, perde arkasındaki insan emeğini saklar. Uzman her girdiyi temizliyor, doğru dokümanı seçiyor ve sonucu göstermeden önce düzeltiyorsa değerlendirilen sistemin bir parçası o uzmandır. Harcadığı zaman ve verdiği kararlar ölçülmelidir.
Aynı anda birden fazla değişkeni değiştirmek de sonucu değersizleştirir. Yeni model, prompt, retrieval ve araçlar çıktıyı iyileştirebilir, fakat ekip nedenini anlayamaz. Kontrollü karşılaştırma daha az gösterişli, çok daha faydalıdır.
Başarısız pilot yine de değerlidir. Retrieval'ın zayıf, kaynak verinin yetersiz, görevin insan muhakemesine bağımlı veya ekonomik gerekçenin geçersiz olduğunu gösterebilir. Bu kanıtı neredeyse hazır diye yorumlamak, ucuz bir başarısızlığı pahalı projeye çevirir.
Kararı bu hafta verin
Karar cümlesini ve durdurma koşulunu yazın. Değerlendirme vakalarını işi yapan kişilerle birlikte hazırlayın. Manuel referansı kaydedin ve aynı seti en küçük uçtan uca kesitten geçirin.
Hataları yalnızca ortalama puanla değil, türlerine göre inceleyin. Yanlış yanıtları, kaynaksız iddiaları, güvensiz aksiyonları, eksik bağlamı ve doğru biçimde insana devredilen vakaları ayırın. Ölçülen gecikmeyi, model ve araç maliyetini, entegrasyon engellerini ve gereken insan düzeltmesini ekleyin.
Son not devam, dur veya problemi değiştir demelidir. Kanıtı, kalan riskleri ve sonraki yatırım ihtiyacını açıkça göstermelidir. Kimse bu kararı vermeye hazır değilse pilot soruyu yanıtlamamış, yalnızca ertelemiştir.