Qwen3.8 2.4T A95B (batch): API 비용과 로컬 실행 비교

**Qwen3.8 2.4T A95B(배치)**를 사용할 때는 대규모 비동기 작업을 호스팅 API로 보내거나, 2.4조 파라미터 모델을 강하게 양자화해 직접 운영하는 방법을 비교해야 합니다. 가중치는 공개되어 있지만, 이 규모의 로컬 운영에는 상당한 인프라가 필요합니다. 노트북에서 간편하게 실행하는 용도와는 다릅니다.

대부분의 팀은 API로 시작해야 합니다. 자체 호스팅 Qwen3.8 2.4T A95B는 데이터 배치, 지속적인 볼륨, 사용자 정의 추론 또는 연구 액세스가 수백 기가바이트의 가중치와 특수 서비스 스택을 정당화할 수 있을 때 합리적입니다.

Qwen3.8 2.4T A95B는 실제로 무엇입니까?

공식 모델 카드에는 총 2.4조 개의 파라미터와 950억 개의 활성 파라미터가 나열되어 있습니다. 512개 전문가를 갖춘 희소 전문가 혼합 모델이며, 토큰당 라우팅된 전문가 10개와 공유 전문가 1개가 활성화됩니다. 네트워크에는 92 레이어가 있으며 다중 토큰 예측으로 훈련되었습니다.

기본 컨텍스트 길이는 262,144 토큰이며 1,010,000 토큰으로 확장될 수 있습니다. 열린 체크포인트는 텍스트 전용이며 항상 사고 모드를 사용합니다. 이 릴리스에서는 다중 모드 입력 및 비사고 작업이 지원되지 않습니다.

마지막 요점은 일반적인 명명 실수를 방지합니다. Qwen는 호스팅된 Qwen3.8-Max 서비스가 이 체크포인트를 기반으로 하지만 기본적으로 시각적 입력, 비사고 지원, 공식 도구 및 1M 컨텍스트와 같은 기능을 추가한다고 말합니다. Qwen3.8-Max의 결과는 열려 있는 Qwen3.8 2.4T A95B 체크포인트에 대한 자동 증거가 아니며 그 반대의 경우도 마찬가지입니다.

구매 결정에서 "배치"가 의미하는 것

일괄 워크로드는 일반적으로 요청이 대기열에서 대기할 수 있으며 대화형 응답이 필요하지 않음을 의미합니다. 문서 처리, 저장소 평가, 오프라인 분류 및 야간 보고서 생성이 이러한 패턴에 적합합니다. 애플리케이션은 작업을 제출하고 ID를 기록하며 나중에 결과를 검색합니다.

레이블은 다른 모델 체크포인트를 생성하지 않습니다. 공급자의 처리 모드 또는 가격 책정 카탈로그 항목을 설명할 수 있습니다. 실제로 이용하게 될 제공업체에 엔드포인트, 완료 기간, 취소 규칙, 할인 등을 확인하세요.

현재 Qwen3.8 2.4T A95B(배치) 가격 추적기에는 백만 입력 토큰당 $2, 백만 출력 토큰당 $6 및 백만 캐시된 입력 토큰당 $0.25가 나열되어 있으며 8월에 업데이트되었습니다. 28, 2026. 표준 OpenRouter 목록에도 여러 공급자의 모델이 나와 있습니다. 가격은 빠르게 변할 수 있으므로 추적기를 검색 소스로 취급하고 예산을 책정하기 전에 선택한 공급자의 최종 요율을 확인하세요.

배치 비용 예시

하나의 오프라인 코드 분석 작업이 200,000 입력 토큰을 보내고 20,000 출력 토큰을 반환한다고 가정합니다. 추적된 요율에서 새로운 입력 비용은 $0.40이고 출력 비용은 $0.12이며 플랫폼 비용이나 기타 비용을 제외하면 작업당 약 $0.52입니다.

그러한 형태의 1만개 일자리 비용은 대략 $5,200입니다. 반복되는 접두사가 캐시된 입력에 적합한 경우 총계가 줄어들 수 있습니다. 에이전트가 저장소 컨텍스트 변경을 반복적으로 다시 보내는 경우에는 그렇지 않을 수 있습니다. 새로운 토큰과 캐시된 토큰을 별도로 측정하세요.

배치 경제성은 토큰 가격뿐만 아니라 수용도에 따라 달라집니다. 출력의 20%에 두 번째 실행이 필요한 경우 해당 재시도 비율을 포함합니다. 스토리지, 오케스트레이션, 검증 및 검토자 시간을 추가합니다. 워크플로에서 사용할 수 없는 답변이 자동으로 생성되는 경우 낮은 정가는 도움이 되지 않습니다.

로컬 Qwen3.8 2.4T A95B가 어려운 이유

"95B active"는 토큰당 계산을 설명합니다. 950억 개의 파라미터만 저장해야 한다는 의미는 아닙니다. 완전한 2.4T 체크포인트는 여전히 가속기 메모리, 시스템 메모리 또는 스토리지에 있어야 하며 서비스 시스템을 통해 이동해야 합니다.

BF16 매개변수당 2바이트에서 가중치만 산술적으로 대략 4.8테라바이트에 이릅니다. 런타임 오버헤드, KV 캐시, 임시 버퍼, 동시성 및 긴 컨텍스트가 더 많은 것을 추가합니다. 공식 서비스 지침은 프로덕션 워크로드에 대한 SGLang, vLLM 및 TokenSpeed의 현재 버전을 가리킵니다.

공격적인 양자화는 저장 요구 사항을 변경하지만 동작도 변경합니다. Unsloth는 397 GB 주변의 동적 1 비트 패키지를 보고합니다. LocalLLaMA 실험에서는 RTX 5090, RTX 5060 Ti, 128 GB RAM 및 350 GB 스왑을 사용하여 해당 양자화를 사용했습니다.

저자는 추측 디코딩을 사용하여 제어된 32 토큰 테스트에서 초당 약 0.803 출력 토큰을 측정했습니다. 해당 설정이 없으면 동일한 짧은 테스트에서 초당 약 0.775 토큰이 측정되었습니다. 이는 모델이 혼합된 소비자 하드웨어에서 실행될 수 있다는 인상적인 증거이지만 대화형 생산 처리량은 아닙니다. 저자는 더 긴 프롬프트, 컨텍스트 길이, 출력 패턴 및 전문가 라우팅이 결과를 변경할 수 있다고 명시적으로 경고합니다.

API와 로컬 추론을 나란히

초기 품질 평가에서는 호스팅된 경로가 인프라 작업에서 모델 동작을 분리하기 때문에 승리합니다. 로컬 테스트는 하드웨어에서 선택한 양자화가 정확하고 충분히 빠른지 여부와 같은 다른 질문에 답할 수 있습니다.

클러스터 전에 평가 구축

고정된 대표 작업 세트를 사용합니다. 단순히 계획을 제안하는 것이 아니라 긴 코드 컨텍스트, 문서 검색, 도구 사용 및 모델 완료가 필요한 작업을 포함합니다. 최종 승인, 대기 시간, 토큰 사용 및 사람의 수정 시간을 평가합니다.

로컬 추론의 경우 정확한 가중치 파일, 양자화, 런타임 커밋, 컨텍스트 길이, 배치 크기, 동시성, 샘플링 설정 및 하드웨어를 기록합니다. 이러한 세부 정보가 없으면 "Qwen3.8가 초당 X개의 토큰으로 실행되었습니다"는 거의 의미가 없습니다.

호스팅된 배치 테스트의 경우 컴퓨팅 시간과 별도로 대기열 시간을 기록합니다. 실패한 작업에 대한 비용이 청구되는지, 배치를 취소할 수 있는지, 결과가 유지되는 방식, 요청이 필수 지역 내에 있는지 여부를 확인하세요. 전체 자료를 업로드하기 전에 작은 배치를 실행하세요.

라이선스에 대한 실제 검토가 필요합니다.

Qwen3.8 2.4T A95B는 MIT나 Apache 2.0가 아닌 Qwen3.8-Max 라이선스를 사용합니다. 라이선스는 조건에 따라 파생물을 사용, 수정, 호스팅, 미세 조정 및 생성할 수 있는 광범위한 권리를 부여합니다.

이러한 조건 중 특정 초대형 제품은 모델명을 표시해야 하며, 명시된 수익 임계값을 초과하는 Model-as-a-Service 또는 AI Work Assistant 사업은 Qwen로부터 별도의 상용 라이센스가 필요합니다. 정확한 정의와 임계값은 현재 텍스트를 읽어보세요. 이 페이지는 법적 조언이 아닙니다.

두 경로의 라이센스 문제는 서로 다릅니다. 호스팅 공급자는 자체 서비스 약관이 귀하의 API 사용을 관리하는 동안 가중치를 처리할 수 있습니다. 자체 호스팅 배포에서는 모델 라이선스, 파생 상품 및 다운스트림 제품 동작에 대한 책임을 팀에 직접 부여합니다.

어떤 경로를 선택해야 합니까?

작업이 대기할 수 있고 수요가 고르지 않으며 추론을 소유하지 않고 기능을 테스트하려는 경우 호스팅된 Qwen3.8 2.4T A95B(배치) 경로를 선택합니다. 또한 작업 부하가 크지만 고가의 하드웨어를 계속 사용할 만큼 크지 않은 경우에도 실용적인 선택입니다.

엄격한 데이터 위치 요구 사항, 꾸준한 작업 부하, 이미 대규모 모델 서비스를 운영하고 있는 엔지니어 또는 호스팅된 API가 충족할 수 없는 연구 요구 사항이 있는 경우 로컬 추론을 고려하십시오. 워크로드를 처리하는 가장 작은 컨텍스트와 동시성부터 시작하세요. 최대 컨텍스트는 기본 설정이 아닌 용량 옵션입니다.

Yix와 맞는 위치

Qwen3.8 2.4T A95B는 텍스트 생성 모델이며 현재 Yix에서 사용할 수 있는 이미지 생성기가 아닙니다. 이미지 생성을 위해 Yix 이미지 모델 디렉터리를 찾아보세요. 참조 이미지를 편집 가능한 생성 프롬프트로 바꾸려면 무료 이미지 - 프롬프트 생성기를 사용하세요.

Qwen3.8 2.4T A95B(배치)에 대한 결정은 활용도와 제어에 달려 있습니다. 실제 배치의 가격을 책정하고, 수용률을 측정하고, 이를 정량화된 로컬 배포의 저장, 제공, 모니터링 및 검토에 드는 전체 비용과 비교합니다.

관련 Qwen 및 코딩 모델 가이드

주력 체크포인트를 더 작은 Qwen3.8 Flash 및 Flash-Next 가이드와 비교해 보세요. 데이터 사용 용어가 결정을 내리는 코딩 모델 경로에 대해서는 메타: Muse Spark 1.2 Contributor 가이드를 읽어보세요.

출처: 공식 Qwen3.8 2.4T A95B 모델 카드, Qwen3.8-Max 라이센스, OpenRouter 모델 목록, 배치 가격 추적기 및 커뮤니티 지역 추론 실험.

Qwen은 해당 소유자의 상표입니다. Yix는 Qwen, OpenRouter, CostPerPrompt 또는 Unsloth와 관련이 없습니다.