BerryLM Wildberries & Russ

Модели и данные
Базовая модель
Модель поддерживает генерацию с разделением на каналы (reasoning и final answer), что позволяет отделять процесс рассуждения от финального ответа, оптимизированная для работы с длинным контекстом рассуждения и генерации.
---

Датасет
Обучение проводится на миксе закрытых и открытых датасетов, который содержит диалоговые примеры в формате сообщений (messages) и Ground Truth.

Метод
DAPO с Reward Hacking Prevention
Применяется метод один из модификаций GRPO.

Cистема из 2 reward-функций, направленная на предотвращение reward hacking (эксплуатации слабостей reward-сигнала):

- Reasoning Compression
- Languange Answer Correctenss

Архитектура обучения
Обучение организовано в распределённом режиме:

Training ноды: MegatronLM
Generation нода: отдельный vLLM сервер для генерации кандидатов через HTTP API
Correction post training

---

Авторы:

- Сапрыкин Матвей
- Софронов Юрий
- Костылев Александр
- Чанышев Дамир