Token ve Bağlam Bütçesi: Sistem Promptu için Uygulanabilir Kontrol Listesi

Bağlam penceresi bir kapasite planıdır

Bir modelin bağlam sınırı sistem talimatı, konuşma geçmişi, getirilen kaynaklar, yeni kullanıcı girdisi ve üretilecek çıktı tarafından paylaşılır. Toplamın sınıra çok yaklaşması kırpma, çıktı yetersizliği veya uygulama hatası riskini artırır. Bu nedenle yalnızca mevcut metni saymak değil çıktı ve güvenlik payını önceden ayırmak gerekir.

Karakterden token tahmini modelden bağımsız kaba bir planlama sağlar; gerçek tokenizer dil, kod, noktalama ve model ailesine göre değişir. Tahmini kesin faturalama veya uygunluk hesabı gibi sunmayın. Üretim sisteminde kullanılan modelin resmî tokenizer'ı ve API kullanım verisiyle kalibre edin.

• Önce maksimum bağlam ve hedef çıktı payını yazın.
• Sistem talimatını ayrı bütçeleyin.
• Kaynak ve geçmiş için üst sınır belirleyin.
• Beklenmedik büyüme için güvenlik payı bırakın.

Talimat hiyerarşisini sadeleştirin

İyi bir sistem promptu rol, amaç, yetki, sınır, belirsizlik davranışı ve çıktı sözleşmesini açıkça ayırır. Aynı kuralı farklı cümlelerle tekrarlamak token tüketir ve küçük ifade farkları çelişki yaratabilir. Her kuralın tek sahibi ve tek anlamı olmalıdır.

'Her zaman yardımcı ol' ile 'veri yetersizse yanıt verme' gibi kurallar çatışıyorsa önceliği ve güvenli davranışı belirtin. Kullanıcı girdisinin sistem sınırını değiştiremeyeceğini, kaynak metnindeki talimatların veri olarak ele alınacağını ve yüksek etkili sonuçların doğrulama gerektirdiğini açıkça yazın.

Persona ile görev davranışını ayırın

Persona ton ve iletişim tarzını düzenler; yetki, gerçeklik veya uzmanlık belgesi oluşturmaz. 'Kıdemli hukuk uzmanı gibi yaz' ifadesi hukuki doğruluk garantisi vermez. Rol tanımı gerekli kaynak, yargı alanı ve insan incelemesi sınırlarını kaldırmamalıdır.

Tutarlılık kontrolünde örnek yanıtları persona tanımıyla karşılaştırın: ton, hedef kitle, yasaklı davranış, veri sınırı ve çıktı biçimi aynı mı? Bir örnek akıcı olsa bile uydurma kaynak, aşırı kesinlik veya hassas veri tekrarı içeriyorsa başarısızdır.

• Stil ile yetkiyi birbirine karıştırmayın.
• Bilinmeyen bilgi için açık davranış belirleyin.
• Yasaklı davranışları test örneklerine dönüştürün.
• Persona değişiminde regresyon setini yeniden çalıştırın.

Ölç, test et ve insanla doğrula

Bağlam bütçesi aracını farklı gerçekçi konuşma boyutlarıyla çalıştırın. Sistem netliği ve rol tutarlılığı skorları açıklanabilir kurallardır; model kalitesini veya güvenliğini kesin olarak ölçmez. Eksik maddeyi inceleme kuyruğuna taşımak için kullanın.

NIST'in risk yönetimi yaklaşımı yönetişim, bağlamı haritalama, ölçme ve yönetmeyi sürekli bir yaşam döngüsü olarak ele alır. Prompt kontrolü bu sürecin küçük bir parçasıdır. Model değerlendirmesi, kötüye kullanım testleri, olay kaydı, kullanıcı geri bildirimi ve sorumlu insan kararı ayrıca tasarlanmalıdır.