modelled / 2026-08-13
Kendi ortamında çalıştırmak token maliyetinde genellikle kaybeder
Açık ağırlıklı çıkarımın genel API fiyatları karşısındaki yayımlanmış başa baş modeli.
Yöntem
- Donanım
- 671B sınıfı uzmanlar karması modeli sunan kiralık 8x NVIDIA H100 80 GB düğüm
- İş yükü
- Yaklaşık 100 eşzamanlı istekte yaklaşık 620 çıktı tokenı/s
- Tekrar
- Yok. Ölçümlü çalışma değil, yayımlanmış fiyatlardan hesaplama
- Araç
- Yayımlanmış saatlik ücretler ve sağlayıcı listeleri üzerinden hesap
Sonuçlar
Kendi ortamında - tam kullanım1M çıktı tokenı başına $10İyimser 7/24 toplu iş durumu
Kendi ortamında - %50 kullanım1M çıktı tokenı başına $20Aynı sabit donanım
Kendi ortamında - %20 kullanım1M çıktı tokenı başına $50Ani artışlı iç iş yüküne daha yakın
Uygun fiyatlı açık ağırlık API'si1M çıktı tokenı başına $0,87Kaynaktaki liste fiyatı
Çıkarım
Kendi ortamında çalıştırmanın gerekçesi egemenlik ve kanıttır, token fiyatı tasarrufu değil.