Lgr54HFi/chimera-gguf-import

Chimera GGUF Import — v2.0 Optimized

Importer universel : convertit n'importe quel modèle GGUF (n'importe quelle quantisation, n'importe quelle architecture) en checkpoint compatible Chimera 5.1.

Ce que fait le script

GGUF (Q4_0, Q5_1, Q8_0, F16, F32, BF16...)
  → Déquantification FP32 via gguf.dequantize()
  → Noise reduction (outlier-aware, par ligne ou global)
  → Conversion ternaire {-1, 0, +1} avec AbsMean par ligne
  → 2-bit packing (4 poids/byte = 16× réduction mémoire)
  → Checkpoint Chimera 5.1 (.pt)

Installation

pip install gguf torch numpy

Usage rapide

python gguf_import.py \
    --gguf /chemin/vers/nimportequel-modele.gguf \
    --config /chemin/vers/chimera/config.json \
    --scale tiny \
    --output ./imported_chimera.pt

Modes de stockage

Mode	Description	Quand l'utiliser
fp32 (défaut)	Sauvegarde weight latent FP32 natif Chimera. Compatible avec Chimera51ForCausalLM.load_state_dict().	Recommandé — le plus simple.
packed	Sauvegarde uniquement packed_weight + alpha pour les couches linéaires. Nécessite un loader custom dans Chimera.	Expérimental — checkpoint ultra-compact.
both	Sauvegarde les deux : weight FP32 + packed + alpha.	Pour migration progressive vers packed.

# Mode packed (expérimental)
python gguf_import.py \
    --gguf model.gguf \
    --config config.json \
    --scale tiny \
    --storage packed \
    --output ./chimera_packed.pt

Réduction de bruit configurable

Méthode	Description	Par défaut
row_outlier_clip	Clip par ligne mean ± 3σ — préserve la structure locale des poids.	✅ défaut
global_clip	Clip global mean ± σ — plus agressif, moins de granularité.
median_center	Center par médiane, scale par MAD — robuste aux distributions lourdes.
none	Passthrough — si la source est déjà propre.

python gguf_import.py \
    --gguf model.gguf \
    --config config.json \
    --noise-method row_outlier_clip \
    --noise-sigma 2.5 \
    --output ./model_chimera.pt

Stratégies de resize

Stratégie	Description	Par défaut
crop_pad	Copie les zones communes, init le reste avec des gaussiennes de même std.	✅ défaut
interpolate	Interpolation bilinéaire (préserve la structure spatiale).
strict	Échoue si les shapes ne matchent exactement.

Auto-transpose

Détecte automatiquement si les dimensions source et cible sont inversées ([out, in] vs [in, out]) et transpose silencieusement.

Désactiver avec --no-auto-transpose.

Quantisations GGUF supportées

Type	Statut
F32	✅ Direct
F16	✅ Cast
BF16	✅ Cast
Q8_0 / Q8_1	✅ Déquantification
Q5_0 / Q5_1	✅ Déquantification
Q4_0 / Q4_1	✅ Déquantification
Q2_K / Q3_K / Q4_K / Q5_K / Q6_K	✅ Via gguf.dequantize

Architectures source supportées

Tout modèle GGUF : LLaMA, Qwen, Mistral, Phi, Gemma, DeepSeek, etc.

Mapping GGUF → Chimera

GGUF source	Chimera cible
token_embd	embed.weight
output	lm_head.weight
output_norm	norm.weight
blk.N.attn_q/k/v/output	layers.N.attn.q/k/v/o_proj
blk.N.ffn_gate/up/down	layers.N.mlp.gate/up/down_proj
blk.N.attn_norm	layers.N.attn_norm
blk.N.ffn_norm	layers.N.mlp_norm

Clés manquantes

Par défaut (--no-init-missing désactivé), toutes les couches Chimera absentes du GGUF source sont initialisées automatiquement :

• Norms : torch.ones(...)
• Embeddings/Head : normal_(0, 0.02)
• Linéaires BitLinear : normal_(0, sqrt(2/fan_in)) + ternarisation

Après import : fine-tuning obligatoire

Chimera utilise des couches récurrentes hybrides (GatedDeltaNet, xLSTM, Titans, TSP Span Knot) — pas du transformer standard. Le mapping QKV↔recurrence est intrinsèquement lossy. Fine-tunez avec MeZO sur CPU :

OMP_NUM_THREADS=20 python train.py \
  --optimizer mezo --scale tiny --seq_len 64 --max_steps 100000 \
  --dataset_name HuggingFaceFW/fineweb-2 --dataset_config fra_Latn \
  --max_tokens 50000000 --compile --no-bf16 --num_workers 0 \
  --output_dir ./finetune_imported

Exemple complet

python gguf_import.py \
    --gguf ./models/mistral-7b-q4_0.gguf \
    --config ./chimera/config.json \
    --scale tiny \
    --storage fp32 \
    --param-dtype fp32 \
    --noise-method row_outlier_clip \
    --noise-sigma 3.0 \
    --ternary-threshold 0.5 \
    --resize-strategy crop_pad \
    --output ./mistral_chimera_tiny.pt

Dépôt

• Repo HuggingFace : Lgr54HFi/chimera-gguf-import
• Version : 2.0-optimized