Qwen3.8 2.4T A95B (batch): стоимость API или локальный запуск?

Qwen3.8 2.4T A95B (пакетный) описывает дорогостоящий, но эффективный выбор рабочей нагрузки: отправлять большие асинхронные задания на размещенную конечную точку или самостоятельно использовать сильно квантованную версию модели 2.4 с триллионами параметров Qwen. Модель имеет открытый вес, но ее размеры делают «локальный» серьезным инфраструктурным проектом, а не удобством ноутбука.

Большинству команд следует начинать с API. Самостоятельное размещение Qwen3.8 2.4T A95B становится разумным, когда размещение данных, постоянный объем, пользовательские выводы или исследовательский доступ могут оправдать сотни гигабайт веса и специализированный стек обслуживания.

Что на самом деле представляет собой Qwen3.8 2.4T A95B

Официальная карточка модели содержит список 2.4 триллионов общих параметров и 95 миллиардов активированных параметров. Это модель с разреженной смесью экспертов с экспертами 512, из которых маршрутизируемые эксперты 10 и один общий эксперт активны для каждого токена. Сеть имеет уровни 92 и была обучена с помощью прогнозирования нескольких токенов.

Его собственная длина контекста составляет токены 262,144 и может быть расширена до токенов 1,010,000. Открытая контрольная точка является только текстовой и всегда использует режим мышления. В этой версии не поддерживаются мультимодальный ввод и немыслящие операции.

Этот последний пункт предотвращает распространенную ошибку в именовании. Qwen сообщает, что размещенная служба Qwen3.8-Max основана на этой контрольной точке, но по умолчанию добавляет такие функции, как визуальный ввод, бездумная поддержка, официальные инструменты и контекст 1M. Результат Qwen3.8-Max не является автоматически подтверждением открытой контрольной точки Qwen3.8 2.4T A95B, и наоборот.

Что означает «партия» при принятии решения о покупке

Пакетная рабочая нагрузка обычно означает, что запросы могут ожидать в очереди и не требуют интерактивного ответа. Обработка документов, оценка репозитория, автономная классификация и составление ночных отчетов соответствуют этому шаблону. Приложение отправляет работу, записывает идентификатор и получает результаты позже.

Метка не создает другую контрольную точку модели. Он может описывать режим обработки поставщика или запись в каталоге цен. Подтвердите конечную точку, период завершения, правила отмены и скидку у поставщика, которого вы фактически будете использовать.

Один текущий Qwen3.8 2.4T A95B (пакетный) ценовой трекер содержит списки $2 на миллион входных токенов, $6 на миллион выходных токенов и $0.25 на миллион кэшированных входных данных. токены, обновлено в августе 28, 2026. Стандартный список OpenRouter также показывает модель у нескольких поставщиков. Поскольку цены могут быстро меняться, рассматривайте трекер как источник обнаружения и подтвердите окончательную ставку выбранного поставщика, прежде чем выделять бюджет.

Пример стоимости партии

Предположим, что одно автономное задание анализа кода отправляет входные токены 200,000 и возвращает выходные токены 20,000. По отслеживаемым тарифам стоимость свежих входных данных составляет $0.40, а выходных данных — $0.12, что составляет около $0.52 за задание без учета комиссий платформы и других сборов.

Десять тысяч рабочих мест в таком виде обойдутся примерно в $5,200. Если повторяющийся префикс соответствует критериям кэширования ввода, общее количество может упасть. Если агент неоднократно повторно отправляет изменение контекста репозитория, это может быть не так. Измеряйте свежие и кэшированные токены отдельно.

Экономика пакетной обработки зависит от принятия, а также от цены токена. Если для 20 процентов выходных данных требуется второй запуск, включите эту частоту повторов. Добавьте хранилище, оркестрацию, проверку и время рецензента. Более низкая прейскурантная цена не поможет, если рабочий процесс молча дает непригодные для использования ответы.

Почему локальный Qwen3.8 2.4T A95B сложен

«95B active» описывает вычисления для каждого токена. Это не означает, что необходимо хранить только 95 миллиардов параметров. Полная контрольная точка 2.4T по-прежнему должна находиться в памяти ускорителя, системной памяти или хранилище и перемещаться по обслуживающей системе.

При двух байтах на параметр BF16 одни только веса составляют примерно 4.8 терабайты в арифметических расчетах. Накладные расходы во время выполнения, KV-кэш, временные буферы, параллелизм и длинный контекст добавляют еще больше. Официальное руководство по обслуживанию указывает на текущие версии SGLang, vLLM и TokenSpeed ​​для производственных рабочих нагрузок.

Агрессивное квантование изменяет требования к памяти, но также меняет поведение. Unsloth сообщает о динамическом пакете битов 1 вокруг 397 ГБ. В эксперименте LocalLLaMA это квантование использовалось с помощью RTX 5090, RTX 5060 Ti, 128 ГБ ОЗУ и 350 ГБ подкачки.

Автор измерил около 0.803 выходных токенов в секунду в контролируемом тесте 32-токена со спекулятивным декодированием. Без этой настройки тот же короткий тест измерял количество токенов 0.775 в секунду. Это впечатляющее доказательство того, что модель может работать на различном потребительском оборудовании, но это не интерактивное производственное оборудование. Автор прямо предупреждает, что более длинные подсказки, длина контекста, шаблоны вывода и экспертная маршрутизация могут изменить результат.

API и локальный вывод бок о бок

При первоначальной оценке качества размещенный маршрут выигрывает, поскольку он изолирует поведение модели от работы инфраструктуры. Локальный тест может ответить на другой вопрос: является ли выбранное квантование на вашем оборудовании точным и достаточно быстрым.

Постройте оценку перед кластером

Используйте фиксированный набор репрезентативных должностей. Включите контекст длинного кода, поиск по документам, использование инструментов и задачи, которые требуют завершения модели, а не просто предлагают план. Оцените окончательное принятие, задержку, использование токена и время коррекции человеком.

Для локального вывода запишите точный файл весов, квантование, фиксацию во время выполнения, длину контекста, размер пакета, параллелизм, настройки выборки и оборудование. Без этих подробностей фраза «Qwen3.8 работала со скоростью X токенов в секунду» практически бессмысленна.

Для размещенного пакетного теста записывайте время в очереди отдельно от времени вычислений. Проверьте, выставляются ли счета за невыполненные задания, можно ли отменить пакет, как сохраняются результаты и остаются ли запросы внутри требуемого региона. Прежде чем загружать полный корпус, запустите небольшой пакет.

Лицензия нуждается в реальном пересмотре

Qwen3.8 2.4T A95B использует Qwen3.8-Max License, а не MIT или Apache 2.0. Лицензия предоставляет широкие права на использование, изменение, размещение, тонкую настройку и создание производных при соблюдении определенных условий.

Среди этих условий некоторые очень крупные продукты должны отображать название модели, а для бизнеса «Модель как услуга» или AI Work Assistant, превышающего заявленный порог дохода, требуется отдельная коммерческая лицензия от Qwen. Прочтите текущий текст, чтобы узнать точные определения и пороговые значения. Эта страница не является юридической консультацией.

Лицензирование имеет разное значение для двух маршрутов. Хостинг-провайдер может обрабатывать веса, в то время как использование API регулируется его собственными условиями обслуживания. Самостоятельное развертывание возлагает ответственность за лицензию модели, производные продукты и поведение последующих продуктов непосредственно на вашу команду.

Какой маршрут выбрать?

Выберите размещенный Qwen3.8 2.4T A95B (пакетный) маршрут, когда задания могут ждать, спрос неравномерен и вы хотите протестировать возможности без владения выводами. Это также практичный выбор, когда рабочая нагрузка велика, но недостаточно велика, чтобы загружать дорогостоящее оборудование.

Рассмотрите возможность локального вывода, если у вас есть жесткие требования к расположению данных, постоянная рабочая нагрузка, инженеры, которые уже работают с обслуживанием больших моделей, или исследовательские потребности, которые не может удовлетворить размещенный API. Начните с наименьшего контекста и параллелизма, которые обслуживают рабочую нагрузку. Максимальный контекст — это опция емкости, а не настройка по умолчанию.

Где он подходит для Yix

Qwen3.8 2.4T A95B — это модель генерации текста, а не генератор изображений, доступный в настоящее время на Yix. Для создания образа перейдите в каталог модели образа Yix. Чтобы превратить эталонное изображение в редактируемую подсказку для генерации, используйте бесплатный Генератор изображений для подсказок.

Решение для Qwen3.8 2.4T A95B (партия) сводится к использованию и контролю. Оцените реальную партию, измерьте степень ее принятия и сравните ее с полной стоимостью хранения, обслуживания, мониторинга и проверки квантованного локального развертывания.

Сопутствующие руководства по Qwen и моделям кодирования

Сравните флагманскую контрольную точку с меньшей Qwen3.8 Flash и руководством Flash-Next. Чтобы узнать о модели кодирования, в которой условия использования данных определяют решение, прочтите Мета: руководство Muse Spark 1.2 Contributor.

Источники: официальная карта модели Qwen3.8 2.4T A95B, Qwen3.8-Max License, список моделей OpenRouter, [пакетные цены] трекер](https://costperprompt.com/models/qwen-qwen3-8-2-4t-a95b-batch) и эксперимент сообщества по локальному выводу.

Qwen является товарным знаком соответствующего владельца. Yix не связан с Qwen, OpenRouter, CostPerPrompt или Unsloth.