tripolskypetr/yandexgpt_5_lite_8b_instruct_gguf

Эксклюзивно для agent-swarm-kit

В мои рабочие обязанности входит написание ИИ чат ботов. Библиотека agent-swarm-kit позволяет мне оректрировать десятки тысяч сессий. Посмотрите ссылку, там много примеров

YandexGPT 5 Lite 8B Instruct

Квантизованная версия YandexGPT 5 Lite 8B Instruct. Информация о модели доступна в основном репозитории: YandexGPT-5-Lite-8B-instruct.

Особенности шаблона

Мы используем нестандартный шаблон диалога — модель обучена генерировать только одну реплику после последовательности Ассистент:[SEP], завершая её токеном </s>. При этом диалог в промпте может быть любой длины. Это приводит к тому, что в интерактивном режиме модель может выдавать результаты, отличающиеся от вызова модели в режиме генерации на фиксированном диалоге. Поэтому мы рекомендуем использовать интерактивный режим только для ознакомления с моделью.

Лицензия