Kademeleri VRAM'e göre kuruyoruz, çünkü bir modelin çalışıp çalışmayacağını belirleyen odur. Sürücü, CUDA ve çalıştırma ortamı kurulu gelir; eğitim veriniz ve model ağırlıklarınız kendi veri merkezimizden çıkmaz.
| MODEL | HASSASİYET | YAKLAŞIK VRAM | 24 GB | 48 GB | 80 GB | 2×80 GB |
|---|---|---|---|---|---|---|
| 7B | fp16 | 14 GB | ✓ | ✓ | ✓ | ✓ |
| 7B | 4-bit | 5 GB | ✓ | ✓ | ✓ | ✓ |
| 13B | fp16 | 26 GB | – | ✓ | ✓ | ✓ |
| 13B | 4-bit | 9 GB | ✓ | ✓ | ✓ | ✓ |
| 34B | 4-bit | 20 GB | ✓ | ✓ | ✓ | ✓ |
| 70B | 4-bit | 40 GB | – | ✓ | ✓ | ✓ |
| 70B | fp16 | 140 GB | – | – | – | ✓ |
Bu değerler yalnızca modelin ağırlıklarını kapsar. KV önbelleği bağlam uzunluğu ve eşzamanlı istek sayısıyla birlikte ayrıca büyür; uzun bağlamla çalışacaksanız bir üst kademeyi değerlendirin. Hangi modeli çalıştıracağınızı yazın, birlikte hesaplayalım.
Bir modeli ince ayarlarken kullandığınız veri, şirketinizin sahip olduğu en hassas veridir: müşteri yazışmaları, sözleşmeler, çağrı kayıtları, iç dokümantasyon. Çıkarım tarafında da her istem sunucudan geçer.
Kartın fiziksel olarak nerede durduğunu biliyoruz, çünkü kabin bizim. İsterseniz lokasyonu siz seçersiniz.
Modelin ağırlıkları VRAM'e yüklenir; 256 GB sistem RAM'i olan bir sunucu, 24 GB VRAM'li bir kartla 70B modeli fp16 çalıştıramaz. Kademeyi VRAM'e bakarak seçin.
Aynı model 4-bit kuantize edildiğinde fp16'ya göre yaklaşık dörtte bir yer kaplar. Kalite kaybı iş yükünüze göre kabul edilebilir olabilir; hangi hassasiyetle çalışacağınıza karar vermeden kademe seçmeyin.
Tablodaki değerler yalnızca ağırlıkları kapsar. KV önbelleği bağlam uzunluğu ve eşzamanlı istek sayısıyla birlikte büyür; uzun bağlamlı bir uygulamada ağırlıklar sığsa bile bellek yetmeyebilir.
Çalışan bir kurulumda sürücü, CUDA ve çerçeve sürümleri birbirine bağlıdır. Habersiz yükseltme çalışan bir modeli durdurabilir; sürümleri sabitliyor, değişiklikleri önce test ediyoruz.
Kademeleri VRAM'e göre tanımlıyoruz çünkü modelin çalışıp çalışmayacağını belirleyen odur. Talebinize göre stoktaki uygun kartı tahsis ediyor, tahsisten önce hangi kartın verileceğini yazılı olarak bildiriyoruz. Belirli bir kart modeline ihtiyacınız varsa teklif aşamasında belirtin.
Kısa süreli iş yükleri için saatlik kullanım değerlendiriyoruz; sürekli çalışan çıkarım servisleri içinse aylık kiralama hem daha uygun hem de kartın sürekli size ayrılmasını garanti eder. İhtiyacınızı yazın, hangisinin size uygun olduğunu birlikte çıkaralım.
Sunucuyu sürücü, CUDA ve seçtiğiniz çalıştırma ortamı (vLLM, Ollama, TGI ya da kendi kurulumunuz) hazır teslim ediyoruz. Model ağırlıklarını siz yüklüyorsunuz; isterseniz kurulum ve ayar aşamasında da destek veriyoruz.
Evet. ÇOKLU GPU kademesinde iki kart aynı sunucuda çalışır ve model katmanlara bölünerek ikisine dağıtılabilir. Bu bölme her çerçevede aynı verimi vermez; hangi modeli nasıl çalıştıracağınızı bilirsek doğru yapılandırmayı önceden konuşabiliriz.