JetLLMPlus-3.5

JetLLMPlus-3.5 is a multimodal Mixture-of-Experts model published by Jetlink.

It is intended for teams that want to manage deployment, access, and internal distribution from their own namespace while preserving compatibility with the original upstream model ecosystem.

Model Summary

JetLLMPlus-3.5 is a 122B total / 10B active parameter multimodal MoE model with:

• 122B total parameters, 10B activated per token
• Causal Language Model with Vision Encoder
• Hybrid architecture: Gated DeltaNet (36 layers) + Full Attention (12 layers) + Sparse MoE
• 256 routed experts + 1 shared expert per layer
• 262,144 tokens native context length
• Extensible context up to 1,010,000 tokens via YaRN
• Support for 201 languages and dialects
• Compatibility with Transformers, vLLM, SGLang, and KTransformers

Intended Use

This model is suitable for advanced workloads such as:

• multimodal chat assistants
• long-context document and PDF understanding
• OCR, chart comprehension, and document extraction pipelines
• reasoning and step-by-step problem solving
• agentic workflows with function calling
• coding assistants and code generation
• GUI automation and screen understanding
• multilingual enterprise assistants
• research and benchmarking

Model Details

Architecture

• Model type: Causal Language Model with Vision Encoder
• Training stage: Pre-training & Post-training
• Total parameters: 122B
• Activated parameters: 10B per token
• Hidden dimension: 3,072
• Number of layers: 48 (36 GatedDeltaNet linear attention + 12 full attention)
• MoE experts: 256 routed + 1 shared per layer
• Activated experts: 8 routed + 1 shared
• Expert FFN dimension: 1,024
• Vocabulary size: 248,320
• Native context length: 262,144 tokens
• Extended context capability: up to 1,010,000 tokens via YaRN

Architecture Note: Hybrid Attention (GatedDeltaNet + MoE)

JetLLMPlus-3.5 uses a novel hybrid attention design unique to the Qwen3.5 architecture. Unlike standard transformer MoE models, it combines:

• GatedDeltaNet linear attention (36 out of 48 layers) for efficient long-context processing with sub-quadratic complexity
• Full global attention (12 layers) for high-quality token interactions
• Sparse MoE routing in feed-forward layers for parameter efficiency

This design delivers high-throughput inference with significantly lower latency than pure full-attention models of comparable total parameter count.

⚠️ Deployment note: The GatedDeltaNet layers impose additional constraints compared to standard MoE models. When serving with SGLang, --attention-backend triton and --kv-cache-dtype bf16 are required. FP8 KV cache is not recommended due to potential output corruption on this architecture. CUDA graph and HiCache (prefix caching) are currently incompatible with DeltaNet layers.

Ecosystem Compatibility

• Hugging Face Transformers
• vLLM
• SGLang
• KTransformers

Hardware Requirements

JetLLMPlus-3.5 sits between the lightweight 35B-A3B and the flagship 397B-A17B, requiring multi-GPU infrastructure at full precision but manageable on 2–4 datacenter GPUs.

Reference Hardware

Approximate GPU memory requirements:

• Unquantized (BF16): ~244GB VRAM — 3–4× A100 80GB or equivalent
• FP8: ~127GB — 2× A100 80GB or equivalent
• GPTQ-Int4: ~79GB — 1× H100 80GB or 2× A100 40GB
• Multi-GPU: tensor parallelism recommended via vLLM or SGLang (--tp-size 4 or --tp-size 8)

Note: requirements vary significantly based on context length, KV cache settings, and batch size. FP8 KV cache should be avoided for this model due to DeltaNet architecture constraints — use BF16 KV.

Recommendation

For most production teams:

1. use FP8 weights + BF16 KV for the best balance of memory and quality
2. use GPTQ-Int4 for single-GPU or memory-constrained deployments
3. enable MTP (Multi-Token Prediction) for the highest throughput gains — this is the primary optimization path for this model's architecture
4. use --language-model-only when vision is not needed to free KV cache memory

Software Requirements

Recommended environment:

• Python 3.10+
• Linux
• CUDA-enabled GPU infrastructure
• One of the following runtimes:
  • Transformers (latest from main branch)
  • vLLM
  • SGLang
  • KTransformers

Common dependencies:

• torch
• transformers
• torchvision
• pillow
• accelerate

Quickstart

Install Transformers:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Basic text inference

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id = "Jetlink/JetLLMPlus-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": [{"type": "text", "text": "Explain the difference between MoE and dense models."}]}
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
).to(model.device)

output = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(output[0], skip_special_tokens=True))

Thinking mode (deep reasoning)

Enable step-by-step reasoning with enable_thinking=True:

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=True,
).to(model.device)

Non-thinking mode (direct response)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=False,
).to(model.device)

Serving Examples

vLLM

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM with Tool Use

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM with MTP (Multi-Token Prediction)

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

vLLM text-only mode

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

⚠️ DeltaNet layers require additional flags. Use --attention-backend triton and --kv-cache-dtype bf16.

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang with Tool Use

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang with Multi-Token Prediction (MTP)

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Long Context Notes

JetLLMPlus-3.5 natively supports 262,144 tokens.

For tasks exceeding this window, the upstream documentation recommends YaRN-based long-context scaling, supported in Transformers, vLLM, KTransformers, and SGLang, extending context up to 1,010,000 tokens.

The hybrid GatedDeltaNet + full-attention architecture provides sub-quadratic scaling for long-context inputs on the linear attention layers, making long-context processing more efficient than pure full-attention models of similar scale.

Strengths

• very strong knowledge and vision benchmarks in the open-weight mid-tier class
• best-in-class document understanding (OCRBench 92.1, OmniDocBench 89.8)
• leading function calling performance in the Qwen3.5 lineup (BFCL-V4 72.2)
• strong GUI and screen automation capabilities (ScreenSpot Pro 70.4)
• highly efficient inference thanks to MoE — only 10B parameters activate per token
• hybrid DeltaNet attention for efficient long-context processing
• 262K native context, extensible to 1M via YaRN
• 201 language support
• Apache 2.0 license

Limitations

• full weight matrix (122B) must reside in memory regardless of active parameters
• GatedDeltaNet layers impose framework-specific constraints (no FP8 KV, no CUDA graph, no prefix caching in SGLang)
• multi-GPU deployment required for unquantized serving
• long context significantly increases KV cache memory pressure
• multimodal usage adds further overhead
• deployment characteristics vary significantly by framework and configuration

Out-of-Scope / Cautionary Use

As with other frontier-scale multimodal language models, outputs should be reviewed before use in:

• medical decision-making
• legal advice
• safety-critical automation
• high-stakes financial decisions
• fully autonomous customer actions without guardrails

Human review, policy controls, and tool-level validation are strongly recommended.

License

This repository follows the same license as the upstream release.

• License: Apache-2.0
• See the upstream Qwen repository and included license text for the governing terms.

If you redistribute, fine-tune, quantize, or otherwise modify this model, make sure your usage remains compliant with the upstream license and attribution requirements.

Attribution

Original model and research release by the Qwen team.

Upstream model:

• Qwen/Qwen3.5-122B-A10B

This repository is an organization-managed copy and is not the original upstream source.

Citation

Please cite the original Qwen release when using this model in research, evaluation, or production documentation.

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-122B-A10B}}
}

---

JetLLMPlus-3.5 (Türkçe)

JetLLMPlus-3.5, Jetlink tarafından yayınlanan multimodal bir Mixture-of-Experts modelidir.

Bu depo; modeli kendi namespace'i altında yönetmek, erişimi kontrol etmek ve dağıtımı kolaylaştırmak isteyen ekipler için hazırlanmıştır.

Model Özeti

JetLLMPlus-3.5, token başına 10B parametre aktive eden 122B toplam parametreli bir multimodal MoE modelidir:

• 122B toplam parametre, token başına 10B aktif
• Vision Encoder içeren Causal Language Model
• Hibrit mimari: Gated DeltaNet (36 katman) + Tam Dikkat (12 katman) + Sparse MoE
• Katman başına 256 routed expert + 1 shared expert
• 262.144 token yerel bağlam uzunluğu
• YaRN ile 1.010.000 token'a kadar genişletilebilir bağlam
• 201 dil ve lehçe desteği
• Transformers, vLLM, SGLang ve KTransformers ile uyumluluk

Kullanım Amacı

Bu model aşağıdaki gelişmiş kullanım senaryoları için uygundur:

• multimodal sohbet asistanları
• uzun bağlamlı doküman ve PDF anlama
• OCR, grafik anlama ve doküman çıkarma pipeline'ları
• adım adım akıl yürütme ve problem çözme
• function calling ile agentic workflow yapıları
• kodlama asistanları ve kod üretimi
• GUI otomasyon ve ekran anlama
• çok dilli kurumsal asistanlar
• araştırma ve benchmark çalışmaları

Model Detayları

Mimari

• Model tipi: Vision Encoder içeren Causal Language Model
• Eğitim aşaması: Pre-training ve Post-training
• Toplam parametre: 122B
• Aktif parametre: Token başına 10B
• Hidden dimension: 3.072
• Katman sayısı: 48 (36 GatedDeltaNet lineer dikkat + 12 tam dikkat)
• MoE expert sayısı: Katman başına 256 routed + 1 shared
• Aktif expert: 8 routed + 1 shared
• Expert FFN boyutu: 1.024
• Vocabulary size: 248.320
• Yerel bağlam uzunluğu: 262.144 token
• Genişletilmiş bağlam kapasitesi: YaRN ile 1.010.000 token'a kadar

Mimari Notu: Hibrit Dikkat (GatedDeltaNet + MoE)

JetLLMPlus-3.5, Qwen3.5 mimarisine özgü yenilikçi bir hibrit dikkat tasarımı kullanır. Standart transformer MoE modellerinden farklı olarak şunları birleştirir:

• GatedDeltaNet lineer dikkat (48 katmandan 36'sı): sub-quadratic karmaşıklıkla verimli uzun bağlam işleme
• Tam global dikkat (12 katman): yüksek kaliteli token etkileşimleri
• Sparse MoE routing: parametre verimliliği için feed-forward katmanlarında

Bu tasarım, benzer toplam parametre sayısına sahip tam-dikkat modellerine kıyasla çok daha düşük gecikmeyle yüksek throughput inference sağlar.

⚠️ Deployment notu: GatedDeltaNet katmanları, standart MoE modellerine kıyasla ek kısıtlamalar getirir. SGLang ile servis ederken --attention-backend triton ve --kv-cache-dtype bf16 zorunludur. FP8 KV cache bu mimaride output bozulmasına yol açabileceğinden önerilmez. CUDA graph ve HiCache (prefix caching) DeltaNet katmanlarıyla uyumsuzluk nedeniyle devre dışı bırakılmalıdır.

Ekosistem Uyumluluğu

• Hugging Face Transformers
• vLLM
• SGLang
• KTransformers

Donanım Gereksinimleri

JetLLMPlus-3.5, hafif 35B-A3B ile flagship 397B-A17B arasında konumlanmaktadır. Tam hassasiyette çoklu GPU altyapısı gerektirir ancak 2–4 datacenter GPU ile yönetilebilir düzeydedir.

Referans Donanım

Tahmini GPU bellek gereksinimleri:

• Quantize edilmemiş (BF16): ~244GB VRAM — 3–4× A100 80GB veya eşdeğeri
• FP8: ~127GB — 2× A100 80GB veya eşdeğeri
• GPTQ-Int4: ~79GB — 1× H100 80GB veya 2× A100 40GB
• Çoklu GPU: vLLM veya SGLang üzerinden tensor parallelism önerilir (--tp-size 4 veya --tp-size 8)

Not: Gereksinimler bağlam uzunluğu, KV cache ayarları ve batch size'a göre önemli ölçüde değişir. Bu model için FP8 KV cache, DeltaNet mimari kısıtlamaları nedeniyle önerilmez — BF16 KV kullanın.

Öneri

Çoğu production ekip için en mantıklı yaklaşım:

1. en iyi bellek/kalite dengesi için FP8 ağırlık + BF16 KV kullanmak
2. tek GPU veya bellek kısıtlı dağıtımlar için GPTQ-Int4 kullanmak
3. en yüksek throughput kazanımı için MTP (Multi-Token Prediction) etkinleştirmek — bu modelin mimarisinde birincil optimizasyon yoludur
4. vision gerekmiyorsa KV cache belleği açmak için --language-model-only kullanmak

Yazılım Gereksinimleri

Önerilen ortam:

• Python 3.10+
• Linux
• CUDA destekli GPU altyapısı
• Şu runtime'lardan biri:
  • Transformers (en son main branch)
  • vLLM
  • SGLang
  • KTransformers

Yaygın bağımlılıklar:

• torch
• transformers
• torchvision
• pillow
• accelerate

Hızlı Başlangıç

Transformers kurulumu:

pip install "transformers[serving] @ git+https://github.com/huggingface/transformers.git@main"

Temel metin çıkarımı

from transformers import AutoProcessor, AutoModelForImageTextToText
import torch

model_id = "Jetlink/JetLLMPlus-3.5"

processor = AutoProcessor.from_pretrained(model_id)
model = AutoModelForImageTextToText.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True,
)

messages = [
    {"role": "user", "content": [{"type": "text", "text": "MoE ve dense modeller arasındaki farkı açıkla."}]}
]

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt"
).to(model.device)

output = model.generate(**inputs, max_new_tokens=512)
print(processor.decode(output[0], skip_special_tokens=True))

Thinking modu (derin akıl yürütme)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=True,
).to(model.device)

Non-thinking modu (doğrudan yanıt)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    tokenize=True,
    return_tensors="pt",
    enable_thinking=False,
).to(model.device)

Serving Örnekleri

vLLM

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3

vLLM Tool Use ile

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

vLLM MTP ile

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --speculative-config '{"method":"qwen3_next_mtp","num_speculative_tokens":2}'

vLLM sadece metin modu

vllm serve Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --reasoning-parser qwen3 \
  --language-model-only

SGLang

⚠️ DeltaNet katmanları ek flag gerektirmektedir. --attention-backend triton ve --kv-cache-dtype bf16 zorunludur.

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang Tool Use ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --tool-call-parser qwen3_coder \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache

SGLang Multi-Token Prediction (MTP) ile

python -m sglang.launch_server \
  --model-path Jetlink/JetLLMPlus-3.5 \
  --port 8000 \
  --tp-size 4 \
  --mem-fraction-static 0.80 \
  --context-length 262144 \
  --reasoning-parser qwen3 \
  --attention-backend triton \
  --kv-cache-dtype bf16 \
  --disable-cuda-graph \
  --disable-radix-cache \
  --speculative-algo NEXTN \
  --speculative-num-steps 3 \
  --speculative-eagle-topk 1 \
  --speculative-num-draft-tokens 4

Uzun Bağlam Notları

JetLLMPlus-3.5 yerel olarak 262.144 token destekler.

Bu pencereyi aşan görevlerde Transformers, vLLM, KTransformers ve SGLang tarafından desteklenen YaRN tabanlı uzun bağlam ölçekleme ile 1.010.000 token'a kadar genişletilebilir.

Hibrit GatedDeltaNet + tam dikkat mimarisi, lineer dikkat katmanlarında uzun bağlam girdileri için sub-quadratic ölçekleme sağlayarak benzer ölçekteki saf tam dikkat modellerine kıyasla uzun bağlam işlemeyi daha verimli hale getirir.

Güçlü Yönler

• açık ağırlıklı orta kademe sınıfında çok güçlü bilgi ve vision benchmark'ları
• en iyi sınıf doküman anlama (OCRBench 92.1, OmniDocBench 89.8)
• Qwen3.5 serisinde öncü function calling performansı (BFCL-V4 72.2)
• güçlü GUI ve ekran otomasyon yetenekleri (ScreenSpot Pro 70.4)
• MoE sayesinde yüksek verimli inference — token başına yalnızca 10B parametre aktive edilir
• verimli uzun bağlam işleme için hibrit DeltaNet dikkat
• YaRN ile 262K yerel bağlam, 1M'a genişletilebilir
• 201 dil desteği
• Apache 2.0 lisansı

Sınırlamalar

• aktif parametrelerden bağımsız olarak tam ağırlık matrisi (122B) bellekte tutulmalıdır
• GatedDeltaNet katmanları framework'e özgü kısıtlamalar getirir (FP8 KV yok, CUDA graph yok, SGLang'da prefix caching yok)
• quantize edilmemiş serving için çoklu GPU dağıtımı gereklidir
• uzun bağlam KV cache bellek baskısını ciddi ölçüde artırır
• multimodal kullanım ek yük getirir
• deployment karakteristiği framework ve konfigürasyona göre önemli ölçüde değişir

Kapsam Dışı / Dikkat Gerektiren Kullanımlar

Diğer frontier-scale multimodal language model'lerde olduğu gibi, model çıktıları şu alanlarda insan denetimi olmadan kullanılmamalıdır:

• tıbbi karar verme
• hukuki tavsiye
• güvenlik kritik otomasyon
• yüksek riskli finansal kararlar
• korumasız tam otonom müşteri aksiyonları

İnsan incelemesi, politika kontrolleri ve tool seviyesinde doğrulama güçlü şekilde önerilir.

Lisans

Bu depo, upstream sürümle aynı lisansı takip eder.

• Lisans: Apache-2.0
• Geçerli şartlar için upstream Qwen deposu ve lisans metni incelenmelidir.

Modeli yeniden dağıtıyor, fine-tune ediyor, quantize ediyor veya başka şekilde değiştiriyorsan; kullanımının upstream lisans ve attribution gereklilikleriyle uyumlu olduğundan emin olmalısın.

Atıf

Orijinal model ve araştırma yayını Qwen ekibine aittir.

Upstream model:

• Qwen/Qwen3.5-122B-A10B

Bu depo, kurum tarafından yönetilen bir kopyadır ve orijinal upstream kaynak değildir.

Atıf / Citation

Bu modeli araştırma, değerlendirme veya production dokümantasyonunda kullanıyorsan, lütfen orijinal Qwen sürümüne atıf yap.

@misc{qwen3.5,
  title        = {Qwen3.5 Technical Report},
  author       = {Qwen Team},
  year         = {2026},
  publisher    = {Alibaba Cloud},
  howpublished = {\url{https://huggingface.co/Qwen/Qwen3.5-122B-A10B}}
}