quantize
#1
by Bluckr - opened
podrías lanzar una versión de este modelo cuantificado a Q4_K_M o Q8 por favor
aqui afrideva hace el cuant...
https://huggingface.co/afrideva/gemma-1.1-2b-it_orpo_traslate_en_es_V1-GGUF
por ahora no los cuantizo porque estoy haciendo otras traducciones y modelos.