ai-sage

/

GigaChat3.1-10B-A1.8B

like 27

Follow

ai-sage 448

Всем привет.

• https://huggingface.co/deepsweet/GigaChat3.1-10B-A1.8B-MLX-MXFP4
• https://huggingface.co/deepsweet/GigaChat3.1-10B-A1.8B-MLX-MXFP8

Пришлось выключить MTP и удалить весь соответствующий 26 слой из тензоров, но в итоге завелось без явных ошибок.

Для нативного MLX инференса на Apple Silicon настоятельно рекомендую попробовать oMLX.