patlegu/crowdsec-qwen25-onnx-int4

CrowdSec Agent — Qwen2.5-3B ONNX int4 (CPU)

Modèle Qwen2.5-3B-Instruct fine-tuné (LoRA) sur le domaine IDPS CrowdSec, mergé et quantifié en ONNX int4 pour inférence CPU sans GPU.

Fait partie du projet cyber-agent-engine — architecture multi-agents cybersécurité avec protocole CAP v1.

Performances

Métrique	Valeur
Score validation	15/15 (100%)
Fonctions couvertes	15
Format	ONNX int4 (onnxruntime-genai)
Base model	Qwen/Qwen2.5-3B-Instruct
Latence CPU (8 vCPU)	~8–12s/requête

Usage

import onnxruntime_genai as og
import json

model = og.Model("patlegu/crowdsec-qwen25-onnx-int4")
tokenizer = og.Tokenizer(model)
tokenizer_stream = tokenizer.create_stream()

cap = {
  "directive": "add_decision",
  "entities": {"IP_ADDRESS": ["185.220.101.5"]},
  "context": {"source": "coordinator", "reason": "portscan"}
}

prompt = (
    "<|im_start|>system\n"
    "Tu es un agent CROWDSEC. Tu reçois des directives structurées du coordinateur "
    "sous forme de paquets JSON (format CAP v1) et tu génères des appels d'API précis "
    "sous forme de tool_calls. Tu ne réponds jamais en langage naturel.\n"
    "<|im_end|>\n"
    "<|im_start|>user\n"
    + json.dumps(cap) +
    "\n<|im_end|>\n"
    "<|im_start|>assistant\n"
)

import numpy as np
input_ids = np.array(tokenizer.encode(prompt), dtype=np.int32)

params = og.GeneratorParams(model)
params.set_search_options(max_length=len(input_ids) + 256, temperature=0.1, do_sample=False)

generator = og.Generator(model, params)
generator.append_tokens(input_ids)

output_tokens = []
while not generator.is_done():
    generator.generate_next_token()
    token = generator.get_next_tokens()[0]
    output_tokens.append(token)

print(tokenizer.decode(output_tokens))
# → [{"type": "function", "function": {"name": "...", "arguments": "..."}}]

Installation

pip install onnxruntime-genai numpy

Format d'entrée (CAP v1)

Agent CrowdSec capable de traduire des directives structurées (protocole CAP v1) en appels API CrowdSec LAPI précis. Couvre 15 fonctions : décisions ban/unban, alertes, machines, bouncers, métriques.

L'agent reçoit un paquet JSON structuré :

{
  "directive": "add_decision",
  "entities": {"IP_ADDRESS": ["185.220.101.5"]},
  "context": {"source": "coordinator", "reason": "portscan"}
}

Et produit un tool_call JSON :

[{"type": "function", "function": {"name": "directive_name", "arguments": "{}"}}]

Projet

• Repo principal : cyber-agent-engine
• Architecture : coordinateur Qwen2.5-3B + agents SLM LoRA + protocole CAP v1
• Autres agents : OPNsense · WireGuard · CrowdSec