README.md

metadata

title: RAG LB
emoji: 🥇
colorFrom: green
colorTo: indigo
sdk: gradio
app_file: app.py
pinned: true
license: mit
short_description: Leaderboard of RAG systems
sdk_version: 5.43.1
tags:
  - leaderboard

1. Выгрузите тестовые файлы

Этот лидерборд содержит тестовые файлы нескольких версий.

Версия "Дракон" лежит в /data.

Вы найдете 2 папки, 5 и 600, названных по количеству тестовых примеров. В каждой папке есть файл corpus.jsonl, где содержатся JSON записи текстов, и

questions_public.jsonl с вопросами к этим текстам.

2. Используйте свой RAG, чтобы ответить на вопросы

Ответы вашего RAG отформатируйте подобно примеру в example/5/corr_answers.jsonl.

3. Загрузите полученный JSONL в качестве сабмита

4. Места в лидерборде выдаются в соответствии с количеством неправильных (0) и правильных (2) ответов, а также общего количества отвеченных вопросов

Файлы ЛБ можно использовать для локальной валидации вашего RAG.