README.md

---
title: RAG LB
emoji: 🥇
colorFrom: green
colorTo: indigo
sdk: gradio
app_file: app.py
pinned: true
license: mit
short_description: Leaderboard of RAG systems
sdk_version: 5.43.1
tags:
- leaderboard
---

# 1. Выгрузите тестовые файлы

Этот лидерборд содержит тестовые файлы нескольких версий. 

Версия "Дракон" лежит в `/data`.

Вы найдете 2 папки, `5` и `600`, названных по количеству тестовых примеров. В каждой папке есть файл `corpus.jsonl`, где содержатся JSON записи текстов, и

`questions_public.jsonl` с вопросами к этим текстам. 

# 2. Используйте свой RAG, чтобы ответить на вопросы

Ответы вашего RAG отформатируйте подобно примеру в `example/5/corr_answers.jsonl`.

# 3. Загрузите полученный JSONL в качестве сабмита

# 4. Места в лидерборде выдаются в соответствии с количеством неправильных (0) и правильных (2) ответов, а также общего количества отвеченных вопросов

Файлы ЛБ можно использовать для локальной валидации вашего RAG.