Politika kararının yerine GPU almayın
Yönetilen API'nin koşulları ve teknik davranışı ihtiyaca uyuyorsa, ekibin model çalıştırma altyapısını işletmesi gerekmiyorsa API ile başlayın. Somut altyapı gereksinimi varsa ve işletmeyi sürdürecek ekip bulunuyorsa kendi modelini barındırmak değerlendirilebilir.
Bu seçim yalnız gizlilik ile kolaylık arasında değildir. Kendi sunucusundaki sistem de loglar, entegrasyonlar veya güvensiz endpoint üzerinden veri açığa çıkarabilir. Yönetilen servis ise ayrıca doğrulanması gereken sözleşmesel kontroller sunabilir.
Önce işlenebilecek konumları, dışarı çıkabilecek verileri, saklama beklentisini, model yeteneğini ve toparlanma ihtiyacını yazın. Genel bir kontrol isteği test edilebilir gereksinim değildir.
Eğitim, saklama ve erişimi ayırın
Sağlayıcının veriyi eğitimde kullanması, istekleri saklaması ve kimlerin erişebildiği farklı sorulardır. Bireysel abonelik koşullarını ticari API'ye veya tersini varsayımla taşımayın.
Anthropic, ticari hizmetlerde müşteri konuşmaları ve kodlama oturumlarını varsayılan olarak model eğitiminde kullanmadığını; açık katılım veya geri bildirim gibi istisnaları politikasında belirttiğini açıklıyor. Bu bilgi tek başına sıfır saklama veya her veri kümesine uygunluk anlamına gelmez. Anthropic ticari veri politikası
Her iki seçenekte izleme ve destek araçları dahil veri yolunu çıkarın. Gizlilik ve güvenlik sorumluları gerçek yapılandırmayı ve anlaşmaları değerlendirmelidir. Mimari tercih bu incelemenin yerine geçmez.
Model adını değil, tamamlanan işi karşılaştırın
Aday modelleri aynı görevlerde, çıktı kurallarında ve reddedilmesi gereken isteklerde deneyin. İstenen ortamda çalışması, ürün için yeterli olduğu anlamına gelmez.
Kabul edilebilir sonucu, gerçekçi eşzamanlı yükte beklemeyi ve hatayı düzeltme emeğini ölçün. Sürekli insan düzeltmesi isteyen ucuz cevap pahalı bir iş sonucuna dönüşebilir. Tamamlanan AI görevi başına maliyet rehberi bu ayrımı açıklar.
Mümkünse model değişikliği ile barındırma değişikliğini ayrı sınayın. İkisi birlikte değişirse farkın modelden mi, prompt'tan mı, altyapıdan mı geldiği belirsizleşir.
Kendi barındırdığınız servis de işletilecek üründür
Model servisi kapasite planı, izleme, güncelleme, erişim kontrolü ve hata yolu ister. Talep kapasiteyi aştığında kuyrukta ne olacağı bilinmelidir.
Örneğin vLLM, kuyrukta bekleme ve ilk token süresi gibi üretim metrikleri sunar. Bunların bulunması, belirli kurulumun gecikme hedefini karşılayacağını kanıtlamaz. vLLM üretim metrikleri
Boşta kapasiteyi, yedekliliği, model yüklemeyi, değerlendirmeyi ve mühendislik emeğini hesaba katın. Evrensel bir başa baş istek sayısı yoktur. İş yükü ve donanım kullanımı sonucu değiştirir. API tarafında da zaman aşımı, kullanım sınırı ve servis kesintisi davranışı gerekir.
Bu hafta karar kaydı oluşturun
Temsili iş yükünü ve kabul koşullarını testten önce yazın. Aynı girdilerle küçük karşılaştırma yapın; kabul edilen sonucu, beklemeyi, hata yönetimini ve operasyon işlerini kaydedin.
Servis durduğunda veya API erişilemediğinde kimin müdahale edeceğini belirleyin. Çıkış yolunu ve model değiştirme testini yazın. Sınanmamış yedek modele otomatik geçiş sözü vermeyin.
Clodron'un AI otomasyon mühendisliği, iki yaklaşımı da kullanabilir. Seçim, altyapıya sahip olma isteğinden çok ürünün kontrol ve işletme ihtiyacına dayanmalıdır.
