JetLLMPremium-3.5

JetLLMPremium-3.5 is a large-scale multimodal Mixture-of-Experts model published by Jetlink.

It is intended for teams that want to manage deployment, access, and internal distribution from their own namespace while preserving compatibility with the original upstream model ecosystem.

Model Summary

JetLLMPremium-3.5 is a post-trained multimodal autoregressive model with:

• 397B total parameters
• 17B activated parameters per token
• Causal Language Model with Vision Encoder
• 262,144 tokens native context length
• Extensible context up to 1,010,000 tokens
• Support for 201 languages and dialects
• Compatibility with Transformers, vLLM, SGLang, and KTransformers

Intended Use

This model is suitable for advanced workloads such as:

• multimodal chat assistants
• long-context document understanding
• agentic workflows
• tool-using assistants
• multilingual enterprise assistants
• coding and reasoning-heavy applications
• research and benchmarking

Model Details

Architecture

• Model type: Causal Language Model with Vision Encoder
• Training stage: Pre-training & Post-training
• Total parameters: 397B
• Activated parameters: 17B
• Hidden dimension: 4096
• Number of layers: 60
• MoE experts: 512
• Activated experts: 10 Routed + 1 Shared
• Native context length: 262,144 tokens
• Extended context capability: up to 1,010,000 tokens

Ecosystem Compatibility

The upstream model card states compatibility with:

• Hugging Face Transformers
• vLLM
• SGLang
• KTransformers

Hardware Requirements

This model is not intended for lightweight local deployment in its original form.

The official upstream documentation does not define a single universal minimum hardware requirement, because actual requirements vary depending on:

• inference framework
• context length
• precision / quantization
• batch size
• KV cache configuration
• whether vision inputs are enabled
• latency and throughput goals

Reference Hardware

The upstream Qwen model card provides official serving examples using tensor parallelism across 8 GPUs for both the standard and FP8 variants.

Recommended reference configurations for self-hosted deployment:

• Preferred: 8× H200-class GPUs
• Alternative: 8× H100-class GPUs, depending on precision, context length, runtime settings, and available memory headroom
• Text-only deployments: may reduce memory pressure by disabling the vision encoder with --language-model-only

Note: hardware requirements vary significantly based on precision, context length, KV cache settings, batch size, and whether multimodal inputs are enabled. The configurations above should be treated as practical deployment references rather than universal minimum requirements.

Practical Guidance

Full model deployment

For the original model weights, this model should be treated as a high-end multi-GPU server model.

A practical baseline is:

• multiple high-memory datacenter GPUs
• fast GPU-to-GPU interconnect preferred
• substantial CPU RAM headroom
• fast NVMe storage
• Linux-based inference environment

Official serving examples

The upstream model card provides serving examples using tensor parallelism across 8 GPUs for both SGLang and vLLM.

That makes 8-GPU deployment the safest reference point to document for standard, non-quantized serving.

Text-only deployment

The upstream vLLM example also documents a --language-model-only option, which skips the vision encoder and multimodal profiling to free more memory for KV cache. This can be useful when your workload is purely text-based.

Recommendation

For most production teams:

1. start with a dedicated serving stack such as vLLM or SGLang
2. benchmark with your real context length and batch profile
3. use text-only mode when vision is not needed
4. consider optimized / compressed variants for more practical infrastructure usage

Software Requirements

Recommended environment:

• Python 3.10+
• Linux
• CUDA-enabled GPU infrastructure
• One of the following runtimes:
  • Transformers
  • vLLM
  • SGLang
  • KTransformers

Common dependencies may include:

• torch
• transformers
• torchvision
• pillow

Additional runtime-specific packages may be required depending on your serving framework.

Quickstart

Install Transformers:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Basic loading example:

from transformers import AutoProcessor, AutoModelForImageTextToText

model_id = "Jetlink/JetLLMPremium-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
)

Serving Examples

vLLM

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM with Tool Use

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM text-only mode

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3

SGLang with Tool Use

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

SGLang with Multi-Token Prediction (MTP)

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Long Context Notes

JetLLMPremium-3.5 natively supports 262,144 tokens.

For tasks that exceed this window, the upstream documentation recommends using long-context scaling techniques such as YaRN, which are supported in several frameworks including Transformers, vLLM, KTransformers, and SGLang.

Strengths

• very large-capability multimodal model
• strong long-context support
• MoE design for efficient activated compute relative to total parameter count
• broad multilingual support
• compatible with modern high-throughput serving frameworks
• suitable for advanced agentic and enterprise deployments

Limitations

• requires substantial infrastructure
• long context significantly increases memory pressure
• multimodal usage adds further overhead
• original weights are not a good fit for consumer-grade single-GPU environments
• deployment characteristics depend heavily on framework and configuration

Out-of-Scope / Cautionary Use

As with other frontier-scale multimodal language models, outputs should be reviewed before use in:

• medical decision-making
• legal advice
• safety-critical automation
• high-stakes financial decisions
• fully autonomous customer actions without guardrails

Human review, policy controls, and tool-level validation are strongly recommended.

License

This repository follows the same license as the upstream release.

• License: Apache-2.0
• See the upstream Qwen repository and included license text for the governing terms.

If you redistribute, fine-tune, quantize, or otherwise modify this model, make sure your usage remains compliant with the upstream license and attribution requirements.

Attribution

Original model and research release by the Qwen team.

Upstream model:

• Qwen/Qwen3.5-397B-A17B

This repository is an organization-managed copy and is not the original upstream source.

Citation

Please cite the original Qwen release when using this model in research, evaluation, or production documentation.

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-397B-A17B}}
}

---

JetLLMPremium-3.5 (Türkçe)

JetLLMPremium-3.5, Jetlink tarafından yayınlanan büyük ölçekli bir multimodal Mixture-of-Experts modelidir.

Bu depo; modeli kendi namespace'i altında yönetmek, erişimi kontrol etmek ve dağıtımı kolaylaştırmak isteyen ekipler için hazırlanmıştır. Amaç, upstream model ekosistemiyle uyumluluğu koruyarak kurumsal kullanım sağlamaktır.

Model Özeti

JetLLMPremium-3.5, aşağıdaki özelliklere sahip, post-train edilmiş çok kipli (multimodal) otoregresif bir modeldir:

• 397B toplam parametre
• Her token için 17B aktif parametre
• Vision Encoder içeren Causal Language Model
• 262.144 token yerel bağlam uzunluğu
• 1.010.000 token'a kadar genişletilebilir bağlam
• 201 dil ve lehçe desteği
• Transformers, vLLM, SGLang ve KTransformers ile uyumluluk

Kullanım Amacı

Bu model aşağıdaki gelişmiş kullanım senaryoları için uygundur:

• multimodal sohbet asistanları
• uzun bağlamlı doküman anlama
• agentic workflow yapıları
• araç kullanan asistanlar
• çok dilli kurumsal asistanlar
• kodlama ve yoğun akıl yürütme gerektiren uygulamalar
• araştırma ve benchmark çalışmaları

Model Detayları

Mimari

• Model tipi: Vision Encoder içeren Causal Language Model
• Eğitim aşaması: Pre-training ve Post-training
• Toplam parametre: 397B
• Aktif parametre: 17B
• Hidden dimension: 4096
• Katman sayısı: 60
• MoE expert sayısı: 512
• Aktif expert: 10 Routed + 1 Shared
• Yerel bağlam uzunluğu: 262.144 token
• Genişletilmiş bağlam kapasitesi: 1.010.000 token'a kadar

Ekosistem Uyumluluğu

Upstream model kartına göre model şu ekosistemlerle uyumludur:

• Hugging Face Transformers
• vLLM
• SGLang
• KTransformers

Donanım Gereksinimleri

Bu model, orijinal haliyle hafif yerel kullanım için tasarlanmamıştır.

Resmi upstream dokümantasyonu tek ve evrensel bir minimum donanım gereksinimi belirtmez. Çünkü gerçek ihtiyaçlar şunlara bağlı olarak değişir:

• kullanılan inference framework'ü
• bağlam uzunluğu
• precision / quantization tercihi
• batch size
• KV cache yapılandırması
• vision girdilerinin kullanılıp kullanılmaması
• gecikme ve throughput hedefleri

Referans Donanım

Upstream Qwen model kartı, hem standart hem de FP8 varyantları için 8 GPU üzerinde tensor parallelism kullanan resmi serving örnekleri sunmaktadır.

Self-hosted deployment için önerilen referans konfigürasyonlar:

• Tercih edilen: 8× H200 sınıfı GPU
• Alternatif: precision, bağlam uzunluğu, runtime ayarları ve kullanılabilir bellek payına bağlı olarak 8× H100 sınıfı GPU
• Sadece metin tabanlı dağıtımlar: vision encoder --language-model-only ile devre dışı bırakılarak bellek baskısı azaltılabilir

Not: donanım gereksinimleri; precision, bağlam uzunluğu, KV cache ayarları, batch size ve multimodal girişlerin açık olup olmamasına göre ciddi şekilde değişir. Bu nedenle yukarıdaki konfigürasyonlar evrensel minimum gereksinim olarak değil, pratik dağıtım referansı olarak değerlendirilmelidir.

Pratik Rehber

Tam model dağıtımı

Orijinal model ağırlıklarıyla kullanımda bu model, yüksek seviye çoklu GPU sunucu modeli olarak düşünülmelidir.

Pratik bir başlangıç seviyesi şunları içerir:

• yüksek belleğe sahip birden fazla datacenter GPU
• tercihen hızlı GPU-GPU interconnect
• yüksek CPU RAM kapasitesi
• hızlı NVMe depolama
• Linux tabanlı inference ortamı

Resmi serving örnekleri

Upstream model kartında hem SGLang hem de vLLM için 8 GPU üzerinde tensor parallelism kullanan serving örnekleri bulunmaktadır.

Bu nedenle standart, quantize edilmemiş serving için dokümante edilebilecek en güvenli referans noktası 8 GPU dağıtımıdır.

Sadece metin kullanımı

Upstream vLLM örneğinde ayrıca --language-model-only seçeneği de yer alır. Bu seçenek vision encoder'ı ve multimodal profiling'i devre dışı bırakarak KV cache için daha fazla bellek açar. Sadece metin tabanlı iş yüklerinde faydalı olabilir.

Öneri

Çoğu production ekip için en mantıklı yaklaşım:

1. vLLM veya SGLang gibi özel bir serving stack ile başlamak
2. gerçek bağlam uzunluğu ve batch profiliyle benchmark almak
3. vision gerekmiyorsa text-only modunu kullanmak
4. daha pratik altyapı için optimize / sıkıştırılmış varyantları değerlendirmek

Yazılım Gereksinimleri

Önerilen ortam:

• Python 3.10+
• Linux
• CUDA destekli GPU altyapısı
• Şu runtime'lardan biri:
  • Transformers
  • vLLM
  • SGLang
  • KTransformers

Yaygın bağımlılıklar şunları içerebilir:

• torch
• transformers
• torchvision
• pillow

Kullandığınız serving framework'üne göre ek bağımlılıklar gerekebilir.

Hızlı Başlangıç

Transformers kurulumu:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Temel yükleme örneği:

from transformers import AutoProcessor, AutoModelForImageTextToText

model_id = "Jetlink/JetLLMPremium-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    trust_remote_code=True,
)

Serving Örnekleri

vLLM

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM Tool Use ile

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM sadece metin modu

vllm serve Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tensor-parallel-size 8 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3

SGLang Tool Use ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder

SGLang Multi-Token Prediction (MTP) ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPremium-3.5 \
  --port 8000 \
  --tp-size 8 \
  --mem-fraction-static 0.8 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Uzun Bağlam Notları

JetLLMPremium-3.5 yerel olarak 262.144 token destekler.

Bu pencereyi aşan görevlerde upstream dokümantasyonu; Transformers, vLLM, KTransformers ve SGLang gibi framework'ler tarafından desteklenen YaRN benzeri uzun bağlam ölçekleme tekniklerini önermektedir.

Güçlü Yönler

• çok yüksek kapasiteli multimodal model
• güçlü uzun bağlam desteği
• toplam parametre sayısına kıyasla verimli aktif hesaplama sağlayan MoE tasarımı
• geniş çok dilli destek
• modern yüksek throughput serving framework'leriyle uyumluluk
• gelişmiş agentic ve kurumsal dağıtımlar için uygunluk

Sınırlamalar

• ciddi altyapı gerektirir
• uzun bağlam bellek baskısını ciddi şekilde artırır
• multimodal kullanım ek hesaplama ve bellek maliyeti getirir
• orijinal ağırlıklar consumer-grade tek GPU ortamları için uygun değildir
• deployment karakteristiği framework ve konfigürasyona göre ciddi biçimde değişir

Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Diğer frontier-scale multimodal language model'lerde olduğu gibi, model çıktıları şu alanlarda insan denetimi olmadan kullanılmamalıdır:

• tıbbi karar verme
• hukuki tavsiye
• güvenlik kritik otomasyon
• yüksek riskli finansal kararlar
• korumasız tam otonom müşteri aksiyonları

İnsan incelemesi, politika kontrolleri ve tool seviyesinde doğrulama güçlü şekilde önerilir.

Lisans

Bu depo, upstream sürümle aynı lisansı takip eder.

• Lisans: Apache-2.0
• Geçerli şartlar için upstream Qwen deposu ve lisans metni incelenmelidir.

Modeli yeniden dağıtıyor, fine-tune ediyor, quantize ediyor veya başka şekilde değiştiriyorsan; kullanımının upstream lisans ve attribution gereklilikleriyle uyumlu olduğundan emin olmalısın.

Atıf

Orijinal model ve araştırma yayını Qwen ekibine aittir.

Upstream model:

• Qwen/Qwen3.5-397B-A17B

Bu depo, kurum tarafından yönetilen bir kopyadır ve orijinal upstream kaynak değildir.

Atıf / Citation

Bu modeli araştırma, değerlendirme veya production dokümantasyonunda kullanıyorsan, lütfen orijinal Qwen sürümüne atıf yap.

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-397B-A17B}}
}