Model Card for Model ID gemma-4-E4B-it.Q8_0-med.gguf

Gemma-4-E4B with a medical layer.

Model Details

Model Description

Gemma 4 E4B is getraind met een in het Nederlands vertaalde MedAlpaca Het is verbazingwekkend acuraat en bij uitstek geschikt voor gebruik met RAG. Ik heb ook een E2B versie beschikbaar te vinden onder

Dit is werk dat ik als vrijwilliger doe voor Impuls en Woortblind

• Developed by: @roelfrenkema
• Funded by [optional]: Ik zoek funding.
• Model type: Gemma 4 E4B
• Language(s) (NLP): NL
• License: Apache
• Finetuned from model [optional]: Gemma 4 E4B

Uses

Gebruik de Modelfile voor Ollama (nieuwste versie) of llama.cpp etc.

Bias, Risks, and Limitations

Disclaimer

Training Details

Training Data

training:
  max_seq_length: 2048
  num_epochs: 1
  learning_rate: 0.0001
  batch_size: 1
  gradient_accumulation_steps: 8
  warmup_steps: 100
  max_steps: -1
  save_steps: 500
  eval_steps: 0
  weight_decay: 0.001
  random_seed: 3407
  packing: false
  train_on_completions: true
  gradient_checkpointing: unsloth
  optim: adamw_8bit
  lr_scheduler_type: cosine
lora:
  lora_r: 16
  lora_alpha: 32
  lora_dropout: 0
  target_modules:
    - q_proj
    - k_proj
    - v_proj
    - o_proj
    - gate_proj
    - up_proj
    - down_proj
  use_rslora: false
  use_loftq: false
  finetune_vision_layers: true
  finetune_language_layers: true
  finetune_attention_modules: true
  finetune_mlp_modules: true

Training Procedure

UNSLOTH