Qwen3.5-9B GGUF (Metadata Corrected)
Esta es una versi贸n del modelo Qwen3.5-9B convertida y cuantizada a formato GGUF utilizando llama.cpp.
驴Por qu茅 esta versi贸n?
Metadata verificada para 8.95 B de par谩metros. Este modelo es la variante m谩s potente de la familia que puede ejecutarse en CPUs de consumo masivo, proporcionando respuestas mucho m谩s matizadas y precisas.
Archivos incluidos
- Q4_K_M: Recomendado para sistemas con 8GB-16GB de RAM (~5.23 GiB).
- Q8_0: Versi贸n de alta fidelidad (~8.86 GiB). Nota: Puede requerir el uso de Swap en sistemas de 8GB.
Rendimiento (Benchmark Local)
Resultados obtenidos en un Intel Core i5-4460 @ 3.20GHz utilizando 4 hilos en CPU:
| Model | Size | Params | Backend | Threads | Test | t/s |
|---|---|---|---|---|---|---|
| qwen35 9B Q4_K_M | 5.23 GiB | 8.95 B | CPU | 4 | pp512 | 13.00 卤 0.02 |
| qwen35 9B Q4_K_M | 5.23 GiB | 8.95 B | CPU | 4 | tg128 | 3.13 卤 0.01 |
| qwen35 9B Q8_0 | 8.86 GiB | 8.95 B | CPU | 4 | tg128 | 2.13 卤 0.00 |
Instrucciones de uso
./llama-cli -m Qwen3.5-9B-MIO-Q4_K_M.gguf -p "驴Cu谩les son las ventajas de usar GGUF en CPU?" -n 512
- Downloads last month
- 188
Hardware compatibility
Log In to add your hardware
4-bit
8-bit
16-bit