Qwen3.8 2.4T A95B (batch): API maliyeti mi, yerel çalıştırma mı?

Qwen3.8 2.4T A95B (toplu) maliyetli ancak yetenekli bir iş yükü seçeneğini tanımlar: büyük eşzamansız işleri barındırılan bir uç noktaya gönderin veya Qwen'nin 2.4-trilyon parametreli modelinin yoğun şekilde nicelenmiş bir sürümünü kendiniz çalıştırın. Model açık ağırlıkta ancak boyutu, bir dizüstü bilgisayar kolaylığından ziyade "yerli"yi ciddi bir altyapı projesi haline getiriyor.

Çoğu ekip bir API ile başlamalıdır. Kendi kendini barındıran Qwen3.8 2.4T A95B, veri yerleştirme, sürekli hacim, özel çıkarım veya araştırma erişimi yüzlerce gigabayt ağırlığı ve özel bir hizmet yığınını haklı çıkarabildiğinde makul hale gelir.

Qwen3.8 2.4T A95B gerçekte nedir?

Resmi model kartı, 2.4 trilyon toplam parametreyi ve 95 milyar etkin parametreyi listeler. 512 uzmanlarından oluşan seyrek bir uzman karışımı modelidir; 10'nin yönlendirdiği uzmanlar ve bir paylaşılan uzman, jeton başına aktiftir. Ağ, 92 katmanlarına sahiptir ve çoklu jeton tahminiyle eğitilmiştir.

Yerel bağlam uzunluğu 262,144 belirteçleridir ve 1,010,000 belirteçlerine kadar genişletilebilir. Açık denetim noktası yalnızca metindir ve her zaman düşünme modunu kullanır. Çok modlu giriş ve düşünmeyen işlem bu sürümde desteklenmemektedir.

Bu son nokta yaygın bir adlandırma hatasını önler. Qwen, barındırılan Qwen3.8-Max hizmetinin bu kontrol noktasını temel aldığını ancak varsayılan olarak görsel giriş, düşünmeye dayalı olmayan destek, resmi araçlar ve 1M bağlamı gibi özellikler eklediğini söylüyor. Qwen3.8-Max'tan alınan bir sonuç, açık Qwen3.8 2.4T A95B kontrol noktasının otomatik olarak kanıtı değildir ve bunun tersi de geçerlidir.

Bir satın alma kararında "toplu" ne anlama gelir?

Toplu iş yükü genellikle isteklerin kuyrukta bekleyebileceği ve etkileşimli bir yanıt gerektirmediği anlamına gelir. Belge işleme, veri deposu değerlendirmesi, çevrimdışı sınıflandırma ve gecelik rapor oluşturma bu kalıba uyar. Uygulama çalışmayı gönderir, bir kimlik kaydeder ve sonuçları daha sonra alır.

Etiket farklı bir model kontrol noktası oluşturmaz. Bir sağlayıcının işlem modunu veya bir fiyatlandırma kataloğu girişini tanımlayabilir. Gerçekte kullanacağınız sağlayıcıyla uç noktayı, tamamlanma penceresini, iptal kurallarını ve indirimi onaylayın.

Mevcut bir Qwen3.8 2.4T A95B (toplu) fiyat izleyicisi, milyon giriş jetonu başına $2, milyon çıkış jetonu başına $6 ve önbelleğe alınmış milyon giriş jetonu başına$0.25 listeleri güncellendi Ağustos 28, 2026. Standart OpenRouter listesi ayrıca modeli çeşitli sağlayıcılarda gösterir. Fiyatlandırma hızlı bir şekilde değişebileceğinden izleyiciyi bir keşif kaynağı olarak değerlendirin ve bir bütçe taahhüt etmeden önce seçilen sağlayıcının nihai ücretini onaylayın.

Toplu maliyet örneği

Bir çevrimdışı kod analizi işinin 200,000 giriş belirteçlerini gönderdiğini ve 20,000 çıkış belirteçlerini döndürdüğünü varsayalım. Takip edilen oranlarda, yeni girdi maliyetleri $0.40 ve çıktı maliyetleri $0.12 olup, platform ücretleri veya diğer ücretler öncesinde iş başına yaklaşık $0.52'dir.

Bu şekildeki on bin işin maliyeti kabaca $5,200 olacaktır. Tekrarlanan bir önek önbelleğe alınmış giriş için uygunsa toplam düşebilir. Aracı, değişen depo içeriğini tekrar tekrar yeniden gönderirse göndermeyebilir. Yeni ve önbelleğe alınmış jetonları ayrı ayrı ölçün.

Toplu ekonomi, token fiyatının yanı sıra kabule de bağlıdır. Çıkışların yüzde 20'sinin ikinci bir çalıştırmaya ihtiyacı varsa, bu yeniden deneme oranını ekleyin. Depolama, düzenleme, doğrulama ve inceleme süresi ekleyin. İş akışının sessizce kullanılamaz yanıtlar üretmesi durumunda daha düşük bir liste fiyatının faydası olmaz.

Yerel Qwen3.8 2.4T A95B neden zordur?

"95B aktif", jeton başına hesaplamayı açıklar. Bu, yalnızca 95 milyar parametrenin saklanması gerektiği anlamına gelmez. 2.4T kontrol noktasının tamamının hâlâ hızlandırıcı belleğinde, sistem belleğinde veya depolamada yaşaması ve hizmet veren sistem üzerinden hareket etmesi gerekiyor.

BF16 parametresi başına iki baytta, tek başına ağırlıklar aritmetik olarak kabaca 4.8 terabayttır. Çalışma zamanı yükü, KV önbellek, geçici arabellekler, eşzamanlılık ve uzun içerik daha fazlasını ekler. Resmi hizmet kılavuzu, üretim iş yükleri için SGLang, vLLM ve TokenSpeed'in güncel sürümlerine işaret eder.

Agresif nicemleme, depolama gereksinimini değiştirir, ancak aynı zamanda davranışı da değiştirir. Unsloth, 397 GB civarında dinamik bir 1-bit paketi rapor ediyor. Bir LocalLLaMA deneyi, RTX 5090, RTX 5060 Ti, 128 GB RAM ve 350 GB takas ile bu nicelemeyi kullandı.

Yazar, spekülatif kod çözme ile kontrollü bir 32 jeton testinde saniyede 0.803 çıkış jetonlarını ölçtü. Bu ayar olmadan, aynı kısa testte saniye başına 0.775 tokenleri ölçüldü. Bu, modelin karma tüketici donanımı üzerinde çalışabileceğinin etkileyici bir kanıtıdır ancak etkileşimli üretim verimi değildir. Yazar, daha uzun istemlerin, bağlam uzunluğunun, çıktı modellerinin ve uzman yönlendirmenin sonucu değiştirebileceği konusunda açıkça uyarıyor.

API ve yerel çıkarım yan yana

İlk kalite değerlendirmesinde, barındırılan rota kazanır çünkü model davranışını altyapı çalışmalarından izole eder. Yerel bir test farklı bir soruyu yanıtlayabilir: Donanımınızda seçilen bir nicelemenin doğru ve yeterince hızlı olup olmadığı.

Değerlendirmeyi kümeden önce oluşturun

Sabit bir dizi temsili iş kullanın. Yalnızca bir plan önermek yerine, uzun kod bağlamını, belgelere erişmeyi, araç kullanımını ve modelin tamamlanmasını gerektiren görevleri ekleyin. Nihai kabulü, gecikmeyi, belirteç kullanımını ve insan düzeltme süresini puanlayın.

Yerel çıkarım için tam ağırlık dosyasını, nicelemeyi, çalışma zamanı taahhüdünü, bağlam uzunluğunu, toplu iş boyutunu, eşzamanlılığı, örnekleme ayarlarını ve donanımı kaydedin. Bu ayrıntılar olmadan "Qwen3.8 saniyede X jetonla çalıştı" ifadesi neredeyse anlamsızdır.

Barındırılan toplu test için kuyruk süresini hesaplama süresinden ayrı olarak kaydedin. Başarısız işlerin faturalanıp faturalanmadığını, bir toplu işin iptal edilip edilemeyeceğini, sonuçların nasıl saklandığını ve isteklerin gerekli bölge içinde kalıp kalmadığını kontrol edin. Tam bir derlemeyi yüklemeden önce küçük bir toplu iş çalıştırın.

Lisansın gerçek bir incelemeye ihtiyacı var

Qwen3.8 2.4T A95B, MIT veya Apache 2.0'yi değil, Qwen3.8-Max Lisansını kullanır. Lisans, koşullara bağlı olarak türevlerin kullanılması, değiştirilmesi, barındırılması, ince ayar yapılması ve türetilmesi konusunda geniş haklar verir.

Bu koşullar arasında, belirli çok büyük ürünlerin model adını görüntülemesi gerekir ve belirtilen gelir eşiğinin üzerindeki Hizmet Olarak Model veya Yapay Zeka İş Asistanı işletmesi, Qwen'den ayrı bir ticari lisansa ihtiyaç duyar. Kesin tanımlar ve eşikler için mevcut metni okuyun. Bu sayfa hukuki tavsiye niteliğinde değildir.

Lisanslama iki rota için farklı şekilde önemlidir. Barındırılan bir sağlayıcı, API kullanımınızı kendi hizmet koşulları yönetirken, ağırlıkları ele alabilir. Kendi kendine barındırılan dağıtım, model lisansının, türevlerin ve alt ürün davranışının sorumluluğunu doğrudan ekibinize yükler.

Hangi rotayı seçmelisiniz?

İşlerin bekleyebildiği, talebin eşit olmadığı ve çıkarım sahibi olmadan yeteneği test etmek istediğiniz durumlarda, barındırılan Qwen3.8 2.4T A95B (toplu) rotasını seçin. Ayrıca iş yükünün büyük olduğu ancak pahalı donanımları meşgul edecek kadar büyük olmadığı durumlarda da pratik bir seçimdir.

Zor bir veri konumu gereksiniminiz, sabit bir iş yükünüz, halihazırda büyük model sunumu yapan mühendisleriniz veya barındırılan API'nin karşılayamayacağı bir araştırma ihtiyacınız varsa yerel çıkarımı düşünün. İş yüküne hizmet eden en küçük bağlam ve eşzamanlılıkla başlayın. Maksimum bağlam bir kapasite seçeneğidir, varsayılan ayar değildir.

Yix ile uyumlu olduğu yer

Qwen3.8 2.4T A95B, şu anda Yix'de mevcut olan bir görüntü oluşturucu değil, bir metin oluşturma modelidir. Görüntü oluşturmak için Yix görüntü modeli dizinine göz atın. Bir referans görüntüsünü düzenlenebilir bir bilgi istemine dönüştürmek için ücretsiz Image to Prompt Generator'ı kullanın.

Qwen3.8 2.4T A95B (toplu) kararı kullanım ve kontrole bağlıdır. Gerçek bir partiyi fiyatlandırın, kabul oranını ölçün ve bunu nicelenmiş bir yerel dağıtımın depolama, sunma, izleme ve inceleme maliyetinin tamamıyla karşılaştırın.

İlgili Qwen ve kodlama modeli kılavuzları

Amiral gemisi kontrol noktasını daha küçük olan Qwen3.8 Flash ve Flash-Next kılavuzu ile karşılaştırın. Veri kullanımı koşullarının kararı yönlendirdiği bir kodlama modeli rotası için Meta: Muse Spark 1.2 Contributor kılavuzu kılavuzunu okuyun.

Kaynaklar: resmi Qwen3.8 2.4T A95B model kartı, Qwen3.8-Max Lisansı, OpenRouter model listesi, toplu fiyatlandırma izleyici ve topluluk yerel çıkarım deneyi.

Qwen ilgili sahibinin ticari markasıdır. Yix, Qwen, OpenRouter, CostPerPrompt veya Unsloth ile bağlantılı değildir.