Mühendislik notu
Ajanlarda token kullanımını azaltmak: kontrollü bir ölçüm
Aynı model ve aynı beş ajan göreviyle, şirket içi çalışma ortamımız LLM Studio son ölçümde Nous Research’ün Hermes Agent’ının 0,25 katı token kullandı ve 25 koşunun tamamı başarılı oldu. Asıl kaldıraç daha iyi bir model değil, daha küçük bir istemdi: her istek bütün kataloğu değil, tek bir aracı görüyor.
Düzenek
- Görevler. Beş küçük ajan görevi — dosya okuma, dosya arama, dosya düzenleme, çok adımlı bir görev ve terminalde satır sayma — her biri beş kez: ölçüm başına 25 koşu.
- Doğrulama. Her görev bir nonce taşır; ajan aracı gerçekten çalıştırıp doğru değeri döndürmek zorundadır. Ezberden verilen cevap sayılmaz.
- Model. İki tarafta da aynı sağlayıcı üzerinden
deepseek-v4-flash. - Referans. Hermes Agent 25 Temmuz 2026’da bir kez ölçüldü ve referansın kendisi sürümler arasında kaymasın diye dondurulmuş referans olarak tutuldu.
Token olarak ne sayılır
Toplam token = sağlayıcıya gönderilen bütün istem tokenları (önbellekten okunanlar dahil) + modelin döndürdüğü bütün tokenlar (akıl yürütme dahil) + yardımcı ya da sıkıştırma çağrıları. Projenin başında iki araç kullanımı farklı temellerde kaydediyordu; herhangi bir karşılaştırmadan önce tanımlar bu tek tanıma getirildi. Bu adım atlanırsa karşılaştırılan sistemler değil, muhasebe yöntemleri olur.
Sonuçlar
Görev başına ortalama toplam token
Görevlere göre (koşu başına ortalama token)
- Dosya okuma9.6342.1540,22×
- Dosya arama9.6632.5930,27×
- Dosya düzenleme15.0863.5330,23×
- Çok adımlı görev10.2122.8600,28×
- Satır sayma (terminal)9.5362.4990,26×
| Koşu | Tarih | Başarılı | API çağrısı | Toplam token | Görev başına | Hermes’e göre |
|---|---|---|---|---|---|---|
| Hermes Agent (referans) | 2026-07-25 | 25/25 | 55 | 270.656 | 10.826 | 1,00× |
| LLM Studio V2j | 2026-07-28 | 24/25* | 52 | 86.045 | 3.442 | 0,32× |
| LLM Studio V2m | 2026-07-29 | 25/25 | 50 | 62.804 | 2.512 | 0,23× |
| LLM Studio V2o (son) | 2026-07-29 | 25/25 | 53 | 68.197 | 2.728 | 0,25× |
*V2j’deki tek başarısızlık sağlayıcı tarafında bir HTTP 400’dü. Kök nedeni bulunup düzeltildi (aşağıda); sonraki bütün koşular 25/25. LLM Studio beş görevin beşinde de Hermes’ten az token kullandı.
Oraya nasıl vardık
- 01
İlk sürüm: 1,42×
Ölçülen ilk sürümümüz Hermes’ten fazla token kullandı. Ayrı bir araç yönlendirme adımı, yalnız araç seçmek için modeli 25 kez fazladan çağırıyordu — 28.079 token.
- 02
Daha dar sunum: 0,85–0,93×
O adımı kaldırmak ve daha az araç sunmak Hermes’in altına indirdi ama az farkla. Model her çağrıda hâlâ bir araç kataloğu aldığı için istem tokenları Hermes’in 266.000’ine karşı yaklaşık 223.000–247.000 arasındaydı.
- 03
İstek başına tek araç: 0,32×
İstekler artık niyete göre yönlendiriliyor — fiil, sonra iş sınıfı, sonra eşleşen tek araç — ve yönlendirilmiş turlarda katalog hiç gönderilmiyor. İstem tokenları 81.000 civarına düştü. Dosya okuma görevinde ilk çağrı 2.743 tokendan 1.308 tokena indi.
- 04
Sonraki aşamalar: 0,23–0,27×
Yönlendirme ve sunum üzerindeki sonraki çalışmalar en iyi koşuları 0,23×’e indirdi; ölçülen son koşu 0,25×.
Maliyet istemde
Hermes referansında 270.656 tokenın 265.671’i — yaklaşık %98’i — modele gönderilen istem tokenlarıydı; model 4.985 token döndürdü. Bu tür ajan işlerinde cevapları kısaltmanın etkisi çok azdır. Önemli olan, modele her çağrıda ne gösterildiğidir: araç şemaları, geçmiş ve talimatlar. Yukarıdaki çalışmanın istem yazımı değil, bağlam mühendisliği olmasının nedeni bu.
Daha az araç, daha sıkı denetim
- Sunum kilidi. Yönlendirilmiş bir turda sunulmamış bir araca yapılan çağrı yürütme anında reddedilir. Geçmişten bir araç adını hatırlayan model yönlendirmeyi aşamaz.
- Katı sağlayıcılar. Bazı sağlayıcılar, geçmişte geçen bir araç güncel araç listesinde yoksa HTTP 400 döndürür — V2j’deki başarısızlığın nedeni buydu. İstenen ad için küçük bir taslak şema artık sonraki çağrıya ekleniyor; hata kökünden ortadan kalktı.
- Her çağrı hesapta. Yardımcı ve sıkıştırma çağrıları toplama dahildir; hiçbiri ölçülmeden çalışmaz.
Kendiniz doğrulayın
Kanıt paketinde iki tarafın koşu bazlı ham kayıtları, SHA-256 özetleri ve her toplamı ham veriden yeniden hesaplayan, hiçbir sayıyı sabit yazmayan bir betik var. Betik 100 koşunun her biri için istem ve dönen tokenların kayıtlı toplama eşit olduğunu; Hermes’te toplamın Hermes’in kendi kullanım kaydı ve API çağrı sayısıyla, LLM Studio’da çağrı bazlı izin toplamıyla tuttuğunu denetler. Paket istek üzerine paylaşılır — isteyin.
Açıkça yazılan sınırlar
- Tek modelde beş küçük dosya ve terminal görevi. Bu iş yüklerinde büyük bir azalma; her iş yükü ya da her model için bir iddia değil.
- Hermes referansı bir kez ölçülüp yeniden kullanıldı; o koşuda düzenekte commit edilmemiş bazı düzeltmeler vardı.
- Oran parayı değil, tokenı ölçer.
Kurumsal yapay zekâ için anlamı
- Bir çatı ya da model seçmeden önce kendi görevlerinizde istek başına tokenı ölçün.
- Sağlayıcıları karşılaştırmadan önce token tanımını eşitleyin.
- Modele yalnız isteğin ihtiyacını gösterin: önce yönlendirin, sonra çağırın.
- Doğrulanabilir görevler kullanın — nonce, gerçekten çalıştırılan araç — ki tasarruf atlanan işten gelmesin.
Ayrıntı: LLM Studio vaka çalışması ve kurumsal yapay zekâ entegrasyonu.
Aklınızda bir proje mi var?
Kısa bir açıklama gönderin. Önce karşılıklı NDA isterseniz, ayrıntıları paylaşmadan önce bizimkini gönderelim.