Spaces:
Sleeping
Sleeping
File size: 1,445 Bytes
4938b51 c802493 4938b51 c802493 4938b51 c802493 4938b51 2c92e4b | 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | ---
title: RAG LB
emoji: 🥇
colorFrom: green
colorTo: indigo
sdk: gradio
app_file: app.py
pinned: true
license: mit
short_description: Leaderboard of RAG systems
sdk_version: 5.43.1
tags:
- leaderboard
---
# 1. Выгрузите тестовые файлы
Этот лидерборд содержит тестовые файлы нескольких версий.
Версия "Дракон" лежит в `/data`.
Вы найдете 2 папки, `5` и `600`, названных по количеству тестовых примеров. В каждой папке есть файл `corpus.jsonl`, где содержатся JSON записи текстов, и
`questions_public.jsonl` с вопросами к этим текстам.
# 2. Используйте свой RAG, чтобы ответить на вопросы
Ответы вашего RAG отформатируйте подобно примеру в `example/5/corr_answers.jsonl`.
# 3. Загрузите полученный JSONL в качестве сабмита
# 4. Места в лидерборде выдаются в соответствии с количеством неправильных (0) и правильных (2) ответов, а также общего количества отвеченных вопросов
Файлы ЛБ можно использовать для локальной валидации вашего RAG.
|