datakomarov commited on
Commit
89c433f
·
1 Parent(s): c802493

Local version to remote

Browse files
.DS_Store ADDED
Binary file (8.2 kB). View file
 
.gradio/certificate.pem ADDED
@@ -0,0 +1,31 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ -----BEGIN CERTIFICATE-----
2
+ MIIFazCCA1OgAwIBAgIRAIIQz7DSQONZRGPgu2OCiwAwDQYJKoZIhvcNAQELBQAw
3
+ TzELMAkGA1UEBhMCVVMxKTAnBgNVBAoTIEludGVybmV0IFNlY3VyaXR5IFJlc2Vh
4
+ cmNoIEdyb3VwMRUwEwYDVQQDEwxJU1JHIFJvb3QgWDEwHhcNMTUwNjA0MTEwNDM4
5
+ WhcNMzUwNjA0MTEwNDM4WjBPMQswCQYDVQQGEwJVUzEpMCcGA1UEChMgSW50ZXJu
6
+ ZXQgU2VjdXJpdHkgUmVzZWFyY2ggR3JvdXAxFTATBgNVBAMTDElTUkcgUm9vdCBY
7
+ MTCCAiIwDQYJKoZIhvcNAQEBBQADggIPADCCAgoCggIBAK3oJHP0FDfzm54rVygc
8
+ h77ct984kIxuPOZXoHj3dcKi/vVqbvYATyjb3miGbESTtrFj/RQSa78f0uoxmyF+
9
+ 0TM8ukj13Xnfs7j/EvEhmkvBioZxaUpmZmyPfjxwv60pIgbz5MDmgK7iS4+3mX6U
10
+ A5/TR5d8mUgjU+g4rk8Kb4Mu0UlXjIB0ttov0DiNewNwIRt18jA8+o+u3dpjq+sW
11
+ T8KOEUt+zwvo/7V3LvSye0rgTBIlDHCNAymg4VMk7BPZ7hm/ELNKjD+Jo2FR3qyH
12
+ B5T0Y3HsLuJvW5iB4YlcNHlsdu87kGJ55tukmi8mxdAQ4Q7e2RCOFvu396j3x+UC
13
+ B5iPNgiV5+I3lg02dZ77DnKxHZu8A/lJBdiB3QW0KtZB6awBdpUKD9jf1b0SHzUv
14
+ KBds0pjBqAlkd25HN7rOrFleaJ1/ctaJxQZBKT5ZPt0m9STJEadao0xAH0ahmbWn
15
+ OlFuhjuefXKnEgV4We0+UXgVCwOPjdAvBbI+e0ocS3MFEvzG6uBQE3xDk3SzynTn
16
+ jh8BCNAw1FtxNrQHusEwMFxIt4I7mKZ9YIqioymCzLq9gwQbooMDQaHWBfEbwrbw
17
+ qHyGO0aoSCqI3Haadr8faqU9GY/rOPNk3sgrDQoo//fb4hVC1CLQJ13hef4Y53CI
18
+ rU7m2Ys6xt0nUW7/vGT1M0NPAgMBAAGjQjBAMA4GA1UdDwEB/wQEAwIBBjAPBgNV
19
+ HRMBAf8EBTADAQH/MB0GA1UdDgQWBBR5tFnme7bl5AFzgAiIyBpY9umbbjANBgkq
20
+ hkiG9w0BAQsFAAOCAgEAVR9YqbyyqFDQDLHYGmkgJykIrGF1XIpu+ILlaS/V9lZL
21
+ ubhzEFnTIZd+50xx+7LSYK05qAvqFyFWhfFQDlnrzuBZ6brJFe+GnY+EgPbk6ZGQ
22
+ 3BebYhtF8GaV0nxvwuo77x/Py9auJ/GpsMiu/X1+mvoiBOv/2X/qkSsisRcOj/KK
23
+ NFtY2PwByVS5uCbMiogziUwthDyC3+6WVwW6LLv3xLfHTjuCvjHIInNzktHCgKQ5
24
+ ORAzI4JMPJ+GslWYHb4phowim57iaztXOoJwTdwJx4nLCgdNbOhdjsnvzqvHu7Ur
25
+ TkXWStAmzOVyyghqpZXjFaH3pO3JLF+l+/+sKAIuvtd7u+Nxe5AW0wdeRlN8NwdC
26
+ jNPElpzVmbUq4JUagEiuTDkHzsxHpFKVK7q4+63SM1N95R1NbdWhscdCb+ZAJzVc
27
+ oyi3B43njTOQ5yOf+1CceWxG1bQVs5ZufpsMljq4Ui0/1lvh+wjChP4kqKOJ2qxq
28
+ 4RgqsahDYVvTH9w7jXbyLeiNdd8XM2w9U/t7y0Ff/9yi0GE44Za4rF2LN9d11TPA
29
+ mRGunUHBcnWEvgJBQl9nJEiU0Zsnvgc/ubhPgXRR4Xq37Z0j4r7g1SgEEzwxA57d
30
+ emyPxgcYxn/eR44/KJ4EBs+lVDR3veyJm+kXQ99b21/+jh5Xos1AnX5iItreGCc=
31
+ -----END CERTIFICATE-----
app.py CHANGED
@@ -1,204 +1,162 @@
1
- import gradio as gr
2
- from gradio_leaderboard import Leaderboard, ColumnFilter, SelectColumns
 
3
  import pandas as pd
4
- from apscheduler.schedulers.background import BackgroundScheduler
5
- from huggingface_hub import snapshot_download
6
-
7
- from src.about import (
8
- CITATION_BUTTON_LABEL,
9
- CITATION_BUTTON_TEXT,
10
- EVALUATION_QUEUE_TEXT,
11
- INTRODUCTION_TEXT,
12
- LLM_BENCHMARKS_TEXT,
13
- TITLE,
14
- )
15
- from src.display.css_html_js import custom_css
16
- from src.display.utils import (
17
- BENCHMARK_COLS,
18
- COLS,
19
- EVAL_COLS,
20
- EVAL_TYPES,
21
- AutoEvalColumn,
22
- ModelType,
23
- fields,
24
- WeightType,
25
- Precision
26
- )
27
- from src.envs import API, EVAL_REQUESTS_PATH, EVAL_RESULTS_PATH, QUEUE_REPO, REPO_ID, RESULTS_REPO, TOKEN
28
- from src.populate import get_evaluation_queue_df, get_leaderboard_df
29
- from src.submission.submit import add_new_eval
30
-
31
-
32
- def restart_space():
33
- API.restart_space(repo_id=REPO_ID)
34
-
35
- ### Space initialisation
36
- try:
37
- print(EVAL_REQUESTS_PATH)
38
- snapshot_download(
39
- repo_id=QUEUE_REPO, local_dir=EVAL_REQUESTS_PATH, repo_type="dataset", tqdm_class=None, etag_timeout=30, token=TOKEN
40
- )
41
- except Exception:
42
- restart_space()
43
- try:
44
- print(EVAL_RESULTS_PATH)
45
- snapshot_download(
46
- repo_id=RESULTS_REPO, local_dir=EVAL_RESULTS_PATH, repo_type="dataset", tqdm_class=None, etag_timeout=30, token=TOKEN
47
- )
48
- except Exception:
49
- restart_space()
50
-
51
-
52
- LEADERBOARD_DF = get_leaderboard_df(EVAL_RESULTS_PATH, EVAL_REQUESTS_PATH, COLS, BENCHMARK_COLS)
53
-
54
- (
55
- finished_eval_queue_df,
56
- running_eval_queue_df,
57
- pending_eval_queue_df,
58
- ) = get_evaluation_queue_df(EVAL_REQUESTS_PATH, EVAL_COLS)
59
-
60
- def init_leaderboard(dataframe):
61
- if dataframe is None or dataframe.empty:
62
- raise ValueError("Leaderboard DataFrame is empty or None.")
63
- return Leaderboard(
64
- value=dataframe,
65
- datatype=[c.type for c in fields(AutoEvalColumn)],
66
- select_columns=SelectColumns(
67
- default_selection=[c.name for c in fields(AutoEvalColumn) if c.displayed_by_default],
68
- cant_deselect=[c.name for c in fields(AutoEvalColumn) if c.never_hidden],
69
- label="Select Columns to Display:",
70
- ),
71
- search_columns=[AutoEvalColumn.model.name, AutoEvalColumn.license.name],
72
- hide_columns=[c.name for c in fields(AutoEvalColumn) if c.hidden],
73
- filter_columns=[
74
- ColumnFilter(AutoEvalColumn.model_type.name, type="checkboxgroup", label="Model types"),
75
- ColumnFilter(AutoEvalColumn.precision.name, type="checkboxgroup", label="Precision"),
76
- ColumnFilter(
77
- AutoEvalColumn.params.name,
78
- type="slider",
79
- min=0.01,
80
- max=150,
81
- label="Select the number of parameters (B)",
82
- ),
83
- ColumnFilter(
84
- AutoEvalColumn.still_on_hub.name, type="boolean", label="Deleted/incomplete", default=True
85
- ),
86
- ],
87
- bool_checkboxgroup_label="Hide models",
88
- interactive=False,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
89
  )
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
90
 
91
 
92
- demo = gr.Blocks(css=custom_css)
93
- with demo:
94
- gr.HTML(TITLE)
95
- gr.Markdown(INTRODUCTION_TEXT, elem_classes="markdown-text")
96
-
97
- with gr.Tabs(elem_classes="tab-buttons") as tabs:
98
- with gr.TabItem("🏅 LLM Benchmark", elem_id="llm-benchmark-tab-table", id=0):
99
- leaderboard = init_leaderboard(LEADERBOARD_DF)
100
-
101
- with gr.TabItem("📝 About", elem_id="llm-benchmark-tab-table", id=2):
102
- gr.Markdown(LLM_BENCHMARKS_TEXT, elem_classes="markdown-text")
103
-
104
- with gr.TabItem("🚀 Submit here! ", elem_id="llm-benchmark-tab-table", id=3):
105
- with gr.Column():
106
- with gr.Row():
107
- gr.Markdown(EVALUATION_QUEUE_TEXT, elem_classes="markdown-text")
108
-
109
- with gr.Column():
110
- with gr.Accordion(
111
- f"✅ Finished Evaluations ({len(finished_eval_queue_df)})",
112
- open=False,
113
- ):
114
- with gr.Row():
115
- finished_eval_table = gr.components.Dataframe(
116
- value=finished_eval_queue_df,
117
- headers=EVAL_COLS,
118
- datatype=EVAL_TYPES,
119
- row_count=5,
120
- )
121
- with gr.Accordion(
122
- f"🔄 Running Evaluation Queue ({len(running_eval_queue_df)})",
123
- open=False,
124
- ):
125
- with gr.Row():
126
- running_eval_table = gr.components.Dataframe(
127
- value=running_eval_queue_df,
128
- headers=EVAL_COLS,
129
- datatype=EVAL_TYPES,
130
- row_count=5,
131
- )
132
-
133
- with gr.Accordion(
134
- f"⏳ Pending Evaluation Queue ({len(pending_eval_queue_df)})",
135
- open=False,
136
- ):
137
- with gr.Row():
138
- pending_eval_table = gr.components.Dataframe(
139
- value=pending_eval_queue_df,
140
- headers=EVAL_COLS,
141
- datatype=EVAL_TYPES,
142
- row_count=5,
143
- )
144
- with gr.Row():
145
- gr.Markdown("# ✉️✨ Submit your model here!", elem_classes="markdown-text")
146
-
147
- with gr.Row():
148
- with gr.Column():
149
- model_name_textbox = gr.Textbox(label="Model name")
150
- revision_name_textbox = gr.Textbox(label="Revision commit", placeholder="main")
151
- model_type = gr.Dropdown(
152
- choices=[t.to_str(" : ") for t in ModelType if t != ModelType.Unknown],
153
- label="Model type",
154
- multiselect=False,
155
- value=None,
156
- interactive=True,
157
- )
158
-
159
- with gr.Column():
160
- precision = gr.Dropdown(
161
- choices=[i.value.name for i in Precision if i != Precision.Unknown],
162
- label="Precision",
163
- multiselect=False,
164
- value="float16",
165
- interactive=True,
166
- )
167
- weight_type = gr.Dropdown(
168
- choices=[i.value.name for i in WeightType],
169
- label="Weights type",
170
- multiselect=False,
171
- value="Original",
172
- interactive=True,
173
- )
174
- base_model_name_textbox = gr.Textbox(label="Base model (for delta or adapter weights)")
175
-
176
- submit_button = gr.Button("Submit Eval")
177
- submission_result = gr.Markdown()
178
- submit_button.click(
179
- add_new_eval,
180
- [
181
- model_name_textbox,
182
- base_model_name_textbox,
183
- revision_name_textbox,
184
- precision,
185
- weight_type,
186
- model_type,
187
- ],
188
- submission_result,
189
- )
190
-
191
- with gr.Row():
192
- with gr.Accordion("📙 Citation", open=False):
193
- citation_button = gr.Textbox(
194
- value=CITATION_BUTTON_TEXT,
195
- label=CITATION_BUTTON_LABEL,
196
- lines=20,
197
- elem_id="citation-button",
198
- show_copy_button=True,
199
- )
200
-
201
- scheduler = BackgroundScheduler()
202
- scheduler.add_job(restart_space, "interval", seconds=1800)
203
- scheduler.start()
204
- demo.queue(default_concurrency_limit=40).launch()
 
1
+ # app.py максимально совместимый с Gradio 3.x / ранними 4.x
2
+ import os
3
+ import time
4
  import pandas as pd
5
+ import gradio as gr
6
+
7
+ from src.submission.check_validity import check_submission
8
+ from src.submission.submit import evaluate_submission
9
+ from src.envs import load_jsonl, CORPUS_PATH
10
+
11
+ LEADERBOARD_PATH = "leaderboard.csv"
12
+
13
+ LB_COLUMNS = [
14
+ "timestamp", "username", "team", "commit",
15
+ "Answer not accepted", "Some truth", "Accepted answer", "valid_doc_ratio", "n",
16
+ ]
17
+
18
+ def ensure_leaderboard():
19
+ if not os.path.exists(LEADERBOARD_PATH):
20
+ pd.DataFrame(columns=LB_COLUMNS).to_csv(LEADERBOARD_PATH, index=False)
21
+
22
+ def load_corpus_ids():
23
+ try:
24
+ corpus = load_jsonl(CORPUS_PATH)
25
+ return {str(x["doc_id"]) for x in corpus if "doc_id" in x}
26
+ except Exception:
27
+ return set()
28
+
29
+ def parse_submission_doc_ids(file_path: str):
30
+ sub = load_jsonl(file_path)
31
+ out = {}
32
+ for rec in sub:
33
+ qid = str(rec.get("id"))
34
+ doc_ids = rec.get("doc_ids", [])
35
+ if not isinstance(doc_ids, list):
36
+ doc_ids = [doc_ids]
37
+ out[qid] = [str(x) for x in doc_ids[:10] if str(x).strip()]
38
+ return out
39
+
40
+ def compute_valid_doc_ratio(sub_docs, corpus_ids):
41
+ if not sub_docs:
42
+ return 0.0
43
+ flags = []
44
+ for _, ids in sub_docs.items():
45
+ if not ids:
46
+ flags.append(False)
47
+ else:
48
+ flags.append(all(i in corpus_ids for i in ids))
49
+ return sum(flags) / len(flags)
50
+
51
+ def sort_leaderboard(df):
52
+ return df.sort_values(
53
+ by=["Answer not accepted", "Accepted answer", "Some truth", "valid_doc_ratio", "n"],
54
+ ascending=[True, False, False, False, False],
55
+ ).reset_index(drop=True)
56
+
57
+ def load_sorted_leaderboard():
58
+ ensure_leaderboard()
59
+ df = pd.read_csv(LEADERBOARD_PATH)
60
+ if df.empty:
61
+ return df
62
+ return sort_leaderboard(df)
63
+
64
+ def submit_file(file_obj, username, team, commit):
65
+ ensure_leaderboard()
66
+
67
+ username = (username or "").strip()
68
+ team = (team or "").strip()
69
+ commit = (commit or "").strip()
70
+
71
+ if not username:
72
+ return "❌ Please provide username", load_sorted_leaderboard()
73
+ if file_obj is None:
74
+ return "❌ Please upload JSONL file", load_sorted_leaderboard()
75
+
76
+ file_path = file_obj.name
77
+
78
+ ok, msg = check_submission(file_path)
79
+ if not ok:
80
+ return f"❌ Invalid submission: {msg}", load_sorted_leaderboard()
81
+
82
+ try:
83
+ result = evaluate_submission(file_path)
84
+ except Exception as e:
85
+ return f" Eval failed: {e}", load_sorted_leaderboard()
86
+
87
+ corpus_ids = load_corpus_ids()
88
+ sub_docs = parse_submission_doc_ids(file_path)
89
+ valid_ratio = compute_valid_doc_ratio(sub_docs, corpus_ids)
90
+
91
+ row = {
92
+ "timestamp": time.strftime("%Y-%m-%d %H:%M:%S", time.gmtime()),
93
+ "username": username,
94
+ "team": team,
95
+ "commit": commit,
96
+ "Answer not accepted": result["zeros"],
97
+ "Some truth": result["ones"],
98
+ "Accepted answer": result["twos"],
99
+ "valid_doc_ratio": valid_ratio,
100
+ "n": result["n"],
101
+ }
102
+
103
+ df = pd.read_csv(LEADERBOARD_PATH)
104
+ df.loc[len(df)] = row
105
+ df.to_csv(LEADERBOARD_PATH, index=False)
106
+ df = sort_leaderboard(df)
107
+
108
+ summary = (
109
+ f"✅ Submitted! "
110
+ f"N={row['n']} | 0:{row['Answer not accepted']} 1:{row['Some truth']} 2:{row['Accepted answer']} | "
111
+ f"doc_ratio={valid_ratio:.1%}"
112
  )
113
+ return summary, df
114
+
115
+
116
+ def build_ui():
117
+ ensure_leaderboard()
118
+ with gr.Blocks(title="RAG Leaderboard") as demo:
119
+ gr.Markdown("# 🏁 RAG Benchmark")
120
+
121
+ # ===== 1) Лидерборд сверху =====
122
+ gr.Markdown("## 📊 Leaderboard")
123
+ out_df = gr.Dataframe(
124
+ value=load_sorted_leaderboard(),
125
+ interactive=False,
126
+ wrap=True,
127
+ label="",
128
+ )
129
+
130
+ # маленькая кнопка refresh, чтобы вручную обновлять таблицу
131
+ refresh_btn = gr.Button("🔄 Refresh leaderboard", variant="secondary")
132
+ refresh_btn.click(
133
+ fn=lambda: load_sorted_leaderboard(),
134
+ inputs=[],
135
+ outputs=[out_df],
136
+ )
137
+
138
+ gr.Markdown("---")
139
+
140
+ # ===== 2) Форма сабмита снизу =====
141
+ gr.Markdown("## 📤 Submit your run")
142
+
143
+ file_in = gr.File(label="Upload JSONL submission")
144
+ username_in = gr.Text(label="Username (required)")
145
+ team_in = gr.Text(label="Team (optional)")
146
+ commit_in = gr.Text(label="Commit/tag (optional)")
147
+
148
+ submit_btn = gr.Button("Submit", variant="primary")
149
+ out_msg = gr.Markdown()
150
+
151
+ submit_btn.click(
152
+ submit_file,
153
+ inputs=[file_in, username_in, team_in, commit_in],
154
+ outputs=[out_msg, out_df], # обновляем и сообщение, и таблицу
155
+ )
156
+
157
+ return demo
158
 
159
 
160
+ if __name__ == "__main__":
161
+ app = build_ui()
162
+ app.launch(server_name="0.0.0.0", server_port=7860)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
data/.DS_Store ADDED
Binary file (6.15 kB). View file
 
data/5/corpus.jsonl ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {"doc_id": "63", "title": "", "text": "За месяц россияне купили 90,1 тысячу новых легковых автомобилей, что на 27,6 процента ниже результата июня 2024 года, подсчитали в «Автостате». Лидером рынка остается Lada, которая реализовала 24,2 тысячи машин, растеряв за год почти 30 процентов покупателей. За ней идут «китайцы» с еще более драматичным падением: Haval с 9,2 тысячи автомобилей (-39,7 процента) и Chery с 8,9 тысячи (-34,8 процента). \nЧетвертое место в этот раз досталось Changan (6,4 тысячи автомобилей, -36,6 процента), пятое — Geely (6,2 тысячи и -44,4 процента). Белорусско-китайский Belgee реализовал 4,1 тысячи машин, увеличив спрос на четверть. У Jetour продажи остались примерно на том же уровне, что и год назад, — 3,1 тысячи (-0,7 процента).\nВосьмую позицию занял Solaris , продавший 2,2 тысячи перелицованных «корейцев» и показавший самый заметный рост в топ-10 — на 55,9 процента. Замыкают десятку Omoda и GAC с двумя тысячами (-61,3 процента) и 1,9 тысячи (+24,8 процента) проданных машин соответственно.\nЧто касается моделей, то первенство удерживает Lada Granta с 11,5 тысячи реализованных экземпляров. Это на 28 процентов меньше, чем в июне 2024 года. Второй стала Vesta с 5,9 тысячи (-49,3 процента), третьим — Haval Jolion с 3,6 тысячи (-48,4 процента).\nДалее следуют Changan Uni-S (три тысячи машин, -23,2 процента), Belgee X50 (2,7 тысячи, -16,4 процента), Chery Tiggo 4 (2,5 тысячи), Geely Monjaro (2,4 тысячи, -38 процентов), Lada Niva Legend (2,4 тысячи, -20,7 процента). У Lada Largus из-за низкой базы июня 2024-го спрос вырос почти в 60 раз, до 2,1 тысячи машин. Десятой в рейтинге бестселлеров стала Lada Niva Travel с 2,1 тысячи проданных штук и падением продаж на 40,1 процента."}
2
+ {"doc_id": "417", "title": "", "text": "Американская рок-группа The Doobie Brothers подтвердила, что выпустит новый студийник под названием Walk This Road в следующем году. В создании лонгплея также принял участие Майкл Макдональд, который в последний раз работал над оригинальными песнями бэнда в 1980 году.\nСвоими планами The Doobie Brothers поделились в социальных сетях. «У нас есть 10 новых песен в исполнении Тома [Джонстона], Майкла [Макдональда] и Патрика [Симмонса]… Нам было очень весело записывать их, и мы очень гордимся результатом», — отметили они в посте, добавив, что давний участник коллектива Джон Макфи «также продемонстрировал свои невероятные музыкальные таланты».\nГруппа пока не назвала концертную дату релиза. Однако The Doobie Brothers поделились, что планируют выпустить первую песню в самом начале года, а полный альбом — весной или летом. \nРанее стало известно, что The Doobie Brothers стали номинантами на включение в Зал славы авторов песен."}
3
+ {"doc_id": "514", "title": "", "text": "В Польше на 50-м году жизни умер белорусский актер театра и кино Андрей Бордухаев. О его смерти в социальных сетях сообщил друг и коллега, актер Игорь Сигов. \nПо словам Сигова, артист умер после продолжительной болезни. \n«Долгое время Андрей и его семья почти никому не рассказывали о болезни, надеясь справиться самостоятельно и когда-нибудь поде��иться радостной новостью о победе над тяжелым диагнозом» , — написал Сигов. \nБордухаев начал карьеру на киностудии «Беларусьфильм» в качестве ассистента режиссера, служил в Гомельском молодежном театре и Гомельском областном драматическом театре. В 2016 году он основал камерную театральную студию «Тим Театр». В 2020 году артист уехал в Польшу. \nТакже он снимался в российских проектах, сыграв эпизодические роли в популярных сериалах, включая «Мухтар. Новый след» и «Ментовские войны». \nРанее 5-tv.ru рассказывал, что умерла актриса из сериала «Возвращение Мухтара» Татьяна Шелига. Ей было 76 лет."}
4
+ {"doc_id": "214", "title": "", "text": "АвтоВАЗ сообщил о старте продаж кросс-лифтбека Granta. Такая «Гранта» отличается увеличенным до 198 миллиметров дорожным просветом, 15-дюймовыми колесными дисками с шинами 195/55, доработанной подвеской и защитным обвесом кузова. Кроме того, вместе с ней в гамме оттенков кузова появился новый — насыщенный красный оттенок «Фламенко». Доступно две комплектации стоимостью от 1 185 000 рублей.\nЗа почти 1,2 миллиона предлагают базовую Lada Granta Active Cross с 1,6-литровым мотором мощностью 90 лошадиных сил и «механикой». В списке оборудования — кондиционер, две подушки безопасности, обогрев передних кресел и зеркал, а также аудиосистема.\nВторая комплектация стоит 1 370 000 рублей, и оснащение у нее богаче. Такому кросс-лифтбеку положен 106-сильный 16-клапанный агрегат с МКПП. Вместо аудиосистемы — мультимедиа LADA EnjoY Pro, а кондиционер заменен климатической установкой.\nДобавлены камера заднего вида, парктроник, круиз-контроль с ограничителем скорости, противотуманные фары, функция задержки выключения света фар.\nПомимо этого, в список оборудования включены центральный замок с дистанционным управлением и складным ключом, электростеклоподъемники передних дверей с режимом «Авто» и обогревом ветрового стекла.\nРанее НАМИ ответил , почему локализация Lada Granta гораздо меньше заявленной. Подтвержденный уровень локализации Granta — 45,7 процента, хотя, по оценкам главы АвтоВАЗа Максима Соколова, модель локализована «практически на 100 процентов». Никакой ошибки нет, отметил аналитик института: дело в разных методиках подсчета."}
5
+ {"doc_id": "3", "title": "", "text": "В Узбекистане прошли съемки продолжения «Крутой перемены» с Никитой Ефремовым в главной роли. Об этом стало известно на фестивале «Пилот».\nПо сюжету бывший учитель Андрей (Никита Ефремов) отказывается от карьеры преподавателя, чтобы начать бизнес в Москве. Однако дела не заладились, и вот он вынужден вернуться в родной Арзамас, чтобы продать фамильный дом, где, по слухам, бывал сам Александр Пушкин. Поправить финансовое положение мешает тот факт, что для сделки требуется согласие отца, который отбывает срок в тюрьме и не хочет связываться с сыном. В попытке добиться разрешения Андрей устраивается учителем литературы в вечернюю школу при колонии.\nВо втором сезоне герой Ефремова отправляется в Узбекистан, чтобы преподавать русский язык и литературу школьникам. Если он справится, по возвращении его ждет должность директора престижной московской школы. \nКарен Оганесян выступил режиссером и шоураннером. Во втором сезоне снова будут вплетены мотивы из творчества классиков великой русской, а теперь и узбекской литературы: Николая Гоголя, Михаила Шолохова, Ильи Ильфа и Евгения Петрова, Сергея Есенина, Саиде Ахмаде и многих других."}
data/5/questions_public.jsonl ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {"id": "0", "question": "Как изменились продажи Omoda?"}
2
+ {"id": "1", "question": "В каком году Майкл Макдональд закончил работать над оригинальными песнями?"}
3
+ {"id": "2", "question": "От чего умер Андрей Бордухаев?"}
4
+ {"id": "3", "question": "Какова оценка локализации Lada Granta по мнению Максима Соколова?"}
5
+ {"id": "4", "question": "Какой предмет преподавал Никита Ефремов?"}
data/600/.DS_Store ADDED
Binary file (6.15 kB). View file
 
data/600/corpus.jsonl ADDED
The diff for this file is too large to render. See raw diff
 
data/600/questions_public.jsonl ADDED
@@ -0,0 +1,600 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {"id": "0", "question": "Как изменились продажи Omoda?"}
2
+ {"id": "1", "question": "В каком году Майкл Макдональд закончил работать над оригинальными песнями?"}
3
+ {"id": "2", "question": "От чего умер Андрей Бордухаев?"}
4
+ {"id": "3", "question": "Какова оценка локализации Lada Granta по мнению Максима Соколова?"}
5
+ {"id": "4", "question": "Какой предмет преподавал Никита Ефремов?"}
6
+ {"id": "5", "question": "Как изменились продажи Changan?"}
7
+ {"id": "6", "question": "Кто опубликовал Фотографию снаряда с надписью 'За мальчика Анатолия из Курска'?"}
8
+ {"id": "7", "question": "Кто отметил, что жители Курской области помогали друг другу во время опасности?"}
9
+ {"id": "8", "question": "Какая статья УК РФ связана с Яной Гайдук?"}
10
+ {"id": "9", "question": "Где работал Андрей Долгополов?"}
11
+ {"id": "10", "question": "Какой документ оформляет GAC?"}
12
+ {"id": "11", "question": "Где проводился фестиваль, в котором участвовал Джонатан Глейзер?"}
13
+ {"id": "12", "question": "Где было совершено преступление, связанное с Александром Лачугиным?"}
14
+ {"id": "13", "question": "Какова доля рынка GAC?"}
15
+ {"id": "14", "question": "Какое тюнинг-ателье занимается модификацией Lada?"}
16
+ {"id": "15", "question": "Кто создал витражи со своим лицом?"}
17
+ {"id": "16", "question": "Из какого места был исключен Марк Цукерберг?"}
18
+ {"id": "17", "question": "Что сказал Стефан Винкельманн о Lamborghini Urus второго поколения?"}
19
+ {"id": "18", "question": "Как изменились продажи Solaris?"}
20
+ {"id": "19", "question": "Как называется премьера мюзикла-откровения, связанная с Александром Розенбаумом?"}
21
+ {"id": "20", "question": "Какова основная цель Fastport?"}
22
+ {"id": "21", "question": "В какой военной единице служил Сергей Узельман?"}
23
+ {"id": "22", "question": "Какую награду получил Владислав Иконников?"}
24
+ {"id": "23", "question": "Какова доля рынка Jetour?"}
25
+ {"id": "24", "question": "Кто заявил, что проект позволит оживить перевозки на местных воздушных линиях?"}
26
+ {"id": "25", "question": "На какую операцию просила отправить Яну Гайдук?"}
27
+ {"id": "26", "question": "В каком году была основана компания Thompson and Taylor Limited?"}
28
+ {"id": "27", "question": "Кто вынудил съемочную группу сбежать?"}
29
+ {"id": "28", "question": "В какую структуру входит Препрег-СКМ?"}
30
+ {"id": "29", "question": "Какая компания прекратила кооперационные поставки АвтоВАЗу?"}
31
+ {"id": "30", "question": "Какая профессия Гарри да Соузы?"}
32
+ {"id": "31", "question": "С кем прилетел Яздан?"}
33
+ {"id": "32", "question": "Какая профессия Теда Гарсия?"}
34
+ {"id": "33", "question": "Кто сыграл роль Виктора Градова?"}
35
+ {"id": "34", "question": "С кем поцеловалась Ольга Бузова?"}
36
+ {"id": "35", "question": "Какой тип исправительного учреждения был назначен Яне Гайдук?"}
37
+ {"id": "36", "question": "Какой род занятий у Александра Малова?"}
38
+ {"id": "37", "question": "Кто предпринял попытку ликвидации?"}
39
+ {"id": "38", "question": "Какой национальности Джейми Дэвенпорт?"}
40
+ {"id": "39", "question": "Какая модель автомобиля ранее производилась на Performance Manufacturing Center?"}
41
+ {"id": "40", "question": "Как называет Дмитрий Назаров своих фанатов?"}
42
+ {"id": "41", "question": "Как изменились продажи Chery?"}
43
+ {"id": "42", "question": "Из какого соревнования вылетел Спартак?"}
44
+ {"id": "43", "question": "Какой статус ареста был присвоен Евгении Гуцул?"}
45
+ {"id": "44", "question": "Кто предложил идею помощи участникам СВО в трудоустройстве?"}
46
+ {"id": "45", "question": "По какой причин�� Владимир Быстров был внесен в санкционный список?"}
47
+ {"id": "46", "question": "Кто является художественным руководителем Михайловского театра?"}
48
+ {"id": "47", "question": "В какую страну Apple планирует перенести производство?"}
49
+ {"id": "48", "question": "В каких переговорах участвовал Рустем Умеров?"}
50
+ {"id": "49", "question": "Какова основная мотивация Израиля?"}
51
+ {"id": "50", "question": "Какая команда Андрея Стениславчука?"}
52
+ {"id": "51", "question": "Какая роль сделала Майкла Мэдсена знаменитым?"}
53
+ {"id": "52", "question": "Где умер Антон Колобянин?"}
54
+ {"id": "53", "question": "Какая профессия Уилла Дерринджера?"}
55
+ {"id": "54", "question": "Кто назвал Комментарии Дмитрия Пескова 'оруэлловскими'?"}
56
+ {"id": "55", "question": "Какова доля рынка Belgee?"}
57
+ {"id": "56", "question": "Кто является режиссёром фильма Флешбэк?"}
58
+ {"id": "57", "question": "Как Яздан относится к чужим взрослым?"}
59
+ {"id": "58", "question": "С кем проведет матч Зенит?"}
60
+ {"id": "59", "question": "Кто похитил Усаги?"}
61
+ {"id": "60", "question": "Кто является инициатором импорта ASCII-табулатур?"}
62
+ {"id": "61", "question": "Какой роботизированный грузовик представил Яндекс?"}
63
+ {"id": "62", "question": "Какой призыв вдохновил создание Santo Subito?"}
64
+ {"id": "63", "question": "Где происходит действие фильма Снова наступит рассвет?"}
65
+ {"id": "64", "question": "За что был приговорен Александр Прокопенко?"}
66
+ {"id": "65", "question": "Кто высказал мнение о необходимости закрепить цель иметь не менее 50% российских самолетов в авиапарках российских авиакомпаний?"}
67
+ {"id": "66", "question": "Какова профессия Е Сю?"}
68
+ {"id": "67", "question": "Какой автомобиль используется командой SVL Racing?"}
69
+ {"id": "68", "question": "Кто склонял последователей к совершению действий сексуального характера в отношении москвичек?"}
70
+ {"id": "69", "question": "Куда отправились Государственный академический русский народный хор имени М. Е. Пятницкого и Московский государственный академический театр танца «Гжель»?"}
71
+ {"id": "70", "question": "Сколько лет Филиппу Велла?"}
72
+ {"id": "71", "question": "Кто сыграл роль Агнес?"}
73
+ {"id": "72", "question": "Кто утверждает, что страны Европы остервенело борются против правды об исторических фактах и событиях ВОВ?"}
74
+ {"id": "73", "question": "Как изменились продажи Haval Jolion?"}
75
+ {"id": "74", "question": "Какое количество автомобилей было продано компанией Geely?"}
76
+ {"id": "75", "question": "На какой платформе доступен «Олдскул»?"}
77
+ {"id": "76", "question": "Сколько автомобилей было продано Omoda?"}
78
+ {"id": "77", "question": "Какова доля рынка Omoda?"}
79
+ {"id": "78", "question": "Какая турецкая газета опубликовала информацию о сбое в работе реактора на Южно-Украинской атомной электростанции (АЭС)?"}
80
+ {"id": "79", "question": "Какое прозвище имеет Андрей Дидух?"}
81
+ {"id": "80", "question": "Когда в России вышел фильм Эдем?"}
82
+ {"id": "81", "question": "Что сказал Илья Гладченко о причине происшествия?"}
83
+ {"id": "82", "question": "Кто опубликовал Видео снега в Атакаме?"}
84
+ {"id": "83", "question": "От чего предостерегает МВД?"}
85
+ {"id": "84", "question": "Кто утверждает, что Россия смогла успешно развиваться экономически, несмотря на санкции?"}
86
+ {"id": "85", "question": "Какой магазин приложений не поддерживается экосистемой Apple?"}
87
+ {"id": "86", "question": "Кто продлил Указ о отсрочке от армии для старообрядцев?"}
88
+ {"id": "87", "question": "Какая компания приобрела Coda?"}
89
+ {"id": "88", "question": "Какой фильм связан с Антоном Чижиковым?"}
90
+ {"id": "89", "question": "Какое место занял Богдан Каримов в зачете?"}
91
+ {"id": "90", "question": "Какие системы ПВО были уничтожены российскими баллистическими ракетами \"Искандер\" согласно Military Watch Magazine?"}
92
+ {"id": "91", "question": "Какие данные интегрирует АвтоВАЗ в сервис проверки истории Автотека?"}
93
+ {"id": "92", "question": "Сколько автомобилей было продано GAC?"}
94
+ {"id": "93", "question": "Каким образом был освобожден Александр Кокорин?"}
95
+ {"id": "94", "question": "Какое наказание было назначено Григорию Скворцову?"}
96
+ {"id": "95", "question": "Какую награду получил Сергей Марин?"}
97
+ {"id": "96", "question": "Где Кирилл Дмитриев сделал заявление?"}
98
+ {"id": "97", "question": "Кто стал свидетелем националистического приветствия Ады Роговцевой?"}
99
+ {"id": "98", "question": "Кто финансирует фильм Santo Subito?"}
100
+ {"id": "99", "question": "В связи с каким делом проводилось расследование в отношении Владимира Кехмана?"}
101
+ {"id": "100", "question": "Сколько студенток стали жертвами Дяди Саши?"}
102
+ {"id": "101", "question": "Какая специальность у Зайнаб Танкаевой?"}
103
+ {"id": "102", "question": "От чего умер Марк Брокау?"}
104
+ {"id": "103", "question": "Кто представляет роботов для ремонта труб?"}
105
+ {"id": "104", "question": "Кого США попросили задержать?"}
106
+ {"id": "105", "question": "Кто является партнером Людмилы Киченок в парном разряде?"}
107
+ {"id": "106", "question": "Какой жанр музыки Jagath?"}
108
+ {"id": "107", "question": "На каких рынках Tesla столкнулась с имиджевым кризисом?"}
109
+ {"id": "108", "question": "Какую роль исполняет Джереми Систо?"}
110
+ {"id": "109", "question": "Сколько зарабатывает Дмитрий Дибров?"}
111
+ {"id": "110", "question": "Какую роль сыграла Приянка Чопра Джонас?"}
112
+ {"id": "111", "question": "Сколько марок стоила Lada в ФРГ?"}
113
+ {"id": "112", "question": "Какова основная цель Антона Заболотного?"}
114
+ {"id": "113", "question": "Какой приговор запрашивает прокуратура для Евгении Гуцул?"}
115
+ {"id": "114", "question": "Какова оценка срока реализации проекта Akon в Уганде?"}
116
+ {"id": "115", "question": "За какую команду выступает Алексей Игнатов?"}
117
+ {"id": "116", "question": "Какая температура была в пятницу?"}
118
+ {"id": "117", "question": "Где происходит действие мюзикла «Вальс-бостон»?"}
119
+ {"id": "118", "question": "Кто, по мнению Александра Дубинского, стремится стать императором дронов?"}
120
+ {"id": "119", "question": "Какой бренд был включен в проект трейд-ин с повышенной скидкой?"}
121
+ {"id": "120", "question": "Как погибла Гунни?"}
122
+ {"id": "121", "question": "В какое отделение был переведен Яздан?"}
123
+ {"id": "122", "question": "Сколько нарушений было зафиксировано у Hyundai в первый месяц лета?"}
124
+ {"id": "123", "question": "Какая базовая модель используется в Azimut?"}
125
+ {"id": "124", "question": "Какая способность есть у Макото?"}
126
+ {"id": "125", "question": "Какой род занятий у Виталия Дегтярева?"}
127
+ {"id": "126", "question": "Сколько лет Мелани Перкин?"}
128
+ {"id": "127", "question": "Кто был целью израильских военных?"}
129
+ {"id": "128", "question": "Какой статус имеет Ora в России с 2023 года?"}
130
+ {"id": "129", "question": "Какова роль китайской дочерней компании Hyundai?"}
131
+ {"id": "130", "question": "Какая проблема, по мнению Шарлиз Терон, часто встречается в описаниях людей?"}
132
+ {"id": "131", "question": "Какие мероприятия были отменены в Азербайджане?"}
133
+ {"id": "132", "question": "При каких условиях, по мнению Мантурова, исключаются товары из параллельного импорта?"}
134
+ {"id": "133", "question": "Какова причина дизайна обложки Charli XCX?"}
135
+ {"id": "134", "question": "Какое решение приняли власти Латвии в отношении Кристины Орбакайте?"}
136
+ {"id": "135", "question": "Какое мнение выразил Иэн Прауд о санкциях Запада в отношении России?"}
137
+ {"id": "136", "question": "Какая профессия у Вэй Вэй?"}
138
+ {"id": "137", "question": "Сколько автомобилей было продано Chery?"}
139
+ {"id": "138", "question": "Какую роль исполнил Джулиан Макмэхон?"}
140
+ {"id": "139", "question": "Какой объект культурного наследия связан с Яной Гайдук?"}
141
+ {"id": "140", "question": "Чем увлекался Дмитрий Вишневский?"}
142
+ {"id": "141", "question": "Как Tesla отреагировала на ситуацию с Омедом Афшаром?"}
143
+ {"id": "142", "question": "Кто считает, что мир на Украине наступит после того, как Америка перестанет воевать за нее?"}
144
+ {"id": "143", "question": "Кто испортил винтажное платье от Dolce & Gabbanа?"}
145
+ {"id": "144", "question": "Какой прогноз объема авторынка был сделан РОАД?"}
146
+ {"id": "145", "question": "Какая валюта используется в Akon City?"}
147
+ {"id": "146", "question": "Какое оружие использовал Дмитрий Сухушин?"}
148
+ {"id": "147", "question": "Какую должность занимал Билли Макмэхон?"}
149
+ {"id": "148", "question": "Кто предложил Проект по повышению управленческих навыков деревенских старост?"}
150
+ {"id": "149", "question": "Какую долю ВВП составляет БРИКС?"}
151
+ {"id": "150", "question": "Какие автомобильные бренды включены в проект трейд-ин с повышенной скидкой?"}
152
+ {"id": "151", "question": "С какими автомобилями сравнивалась Lada по стоимости?"}
153
+ {"id": "152", "question": "Какие факторы давления на спрос упоминал Антон Алиханов?"}
154
+ {"id": "153", "question": "Какие комплектации доступны для автомобиля Амберавто А5?"}
155
+ {"id": "154", "question": "Кто фигурирует в деле о пытках людей на автомойке?"}
156
+ {"id": "155", "question": "Какие проекты были основаны Григорием Скворцовым?"}
157
+ {"id": "156", "question": "С кем сотрудничает Лаборатория 'Полимерные композиционные материалы'?"}
158
+ {"id": "157", "question": "Какие даты в июле являются днями ясного неба в Москве?"}
159
+ {"id": "158", "question": "Какие причины привели к отмене Akon City?"}
160
+ {"id": "159", "question": "Кто участвовал в проекте Время сильных?"}
161
+ {"id": "160", "question": "Кто работал сценаристом над продолжением драматического проекта?"}
162
+ {"id": "161", "question": "Какие команды используют Ligier JS53?"}
163
+ {"id": "162", "question": "За какие произведения известен Бонелло?"}
164
+ {"id": "163", "question": "Кто получил награду за Лучший сценарий пилота?"}
165
+ {"id": "164", "question": "Какие объекты недвижимости принадлежат Кристине Орбакайте?"}
166
+ {"id": "165", "question": "Кто участвовал в переговорах?"}
167
+ {"id": "166", "question": "Какие языки программирования поддерживает Inspecto?"}
168
+ {"id": "167", "question": "На каких платформах доступно продолжение драматического проекта?"}
169
+ {"id": "168", "question": "Кто из актеров снимался в фильме Эдем?"}
170
+ {"id": "169", "question": "Какие страны наложили вето на 18-й пакет санкций против России?"}
171
+ {"id": "170", "question": "За какие фильмы Алексей Балабанов наиболее известен?"}
172
+ {"id": "171", "question": "Кто из актеров снимался в фильме Эдем?"}
173
+ {"id": "172", "question": "Кто был освобожден условно-досрочно?"}
174
+ {"id": "173", "question": "Какие награды получил Джеймс Шутер?"}
175
+ {"id": "174", "question": "Где находится Храм в честь Усекновения главы Иоанна Предтечи?"}
176
+ {"id": "175", "question": "Кто был номинирован на премию в категории Лучшая упаковка записи?"}
177
+ {"id": "176", "question": "В какие дни в Москве не было осадков?"}
178
+ {"id": "177", "question": "Кому симпатизирует Отар Кушанашвили?"}
179
+ {"id": "178", "question": "Какие компании возглавлял Владимир Тодоров?"}
180
+ {"id": "179", "question": "Кто был задержан?"}
181
+ {"id": "180", "question": "Какие предложения сделал Кит Келлог?"}
182
+ {"id": "181", "question": "Какие города имеют статус Молодежной столицы России?"}
183
+ {"id": "182", "question": "Кто из актеров снимался в фильме 'Яга на нашу голову'?"}
184
+ {"id": "183", "question": "Кто из актеров снимался в фильме 'Мой год в Оксфорде'?"}
185
+ {"id": "184", "question": "В каких командах воспитывался Диогу Жота?"}
186
+ {"id": "185", "question": "Кто из актеров снимался в фильме 'Открытый брак. Акт второй'?"}
187
+ {"id": "186", "question": "Какие предметы Александра сдала на экзамене?"}
188
+ {"id": "187", "question": "Какие сервисы являются банковскими?"}
189
+ {"id": "188", "question": "Кто участвовал в Турнире Женской теннисной ассоциации (WTA) в Бад-Хомбурге?"}
190
+ {"id": "189", "question": "Кто вдохновляет Милану Стар?"}
191
+ {"id": "190", "question": "В каких группах был Марк Сноу?"}
192
+ {"id": "191", "question": "Кто номинирован на премию Грэмми-2025?"}
193
+ {"id": "192", "question": "Кто является продюсером фильма Джеймс Бонд 26?"}
194
+ {"id": "193", "question": "Какое время указано для Зеркала?"}
195
+ {"id": "194", "question": "Кто проводит проверку собственных арсеналов?"}
196
+ {"id": "195", "question": "На каких мероприятиях принимал участие Владимир Путин?"}
197
+ {"id": "196", "question": "От чего отказался Михаил Ефремов?"}
198
+ {"id": "197", "question": "Кто был номинирован в категории Лучшее рэп-исполнение?"}
199
+ {"id": "198", "question": "Кто принимал участие в озвучивании фильма 'Девочка, покорившая время'?"}
200
+ {"id": "199", "question": "В каких кинотеатрах состоялась всероссийская премьера фильма 'Дом в огне'?"}
201
+ {"id": "200", "question": "О каких событиях сообщил Дептранс?"}
202
+ {"id": "201", "question": "Кто принимал участие во II Всероссийском свадебном фестивале «Россия. Соединяя сердца»?"}
203
+ {"id": "202", "question": "Где произошла массовая драка?"}
204
+ {"id": "203", "question": "Кто из знаменитостей посетил Уимблдонский турнир?"}
205
+ {"id": "204", "question": "В каких проектах Джулиан Макмэхон имел известные роли?"}
206
+ {"id": "205", "question": "Кто из актеров снимался в сериале Гангстерленд?"}
207
+ {"id": "206", "question": "Для каких телешоу Марк Сноу создавал музыку?"}
208
+ {"id": "207", "question": "Что потеряла Лариса Долина?"}
209
+ {"id": "208", "question": "Кто номинирован на Грэмми-2025?"}
210
+ {"id": "209", "question": "С какими инструментами интегрирован Inspecto?"}
211
+ {"id": "210", "question": "В каких фильмах и сериалах снимался Джулиан Макмэхон?"}
212
+ {"id": "211", "question": "Кто участвовал в 13-й встрече министров науки, технологий и инноваций стран БРИКС?"}
213
+ {"id": "212", "question": "Кто включен в Украинскую базу 'Миротворец'?"}
214
+ {"id": "213", "question": "В каких фильмах снимался Майкл Мэдсен?"}
215
+ {"id": "214", "question": "Какие судебные процессы были связаны с Алексом Лесли?"}
216
+ {"id": "215", "question": "Какие виды транспорта использует Михаил Ефремов?"}
217
+ {"id": "216", "question": "Кто участвовал в преступлении \"Пытки людей на автомойке\"?"}
218
+ {"id": "217", "question": "��акие отличительные признаки Михаила Боярского?"}
219
+ {"id": "218", "question": "Кто является соперником Майи Дорошко?"}
220
+ {"id": "219", "question": "С кем сотрудничал Майкл Мэдсен?"}
221
+ {"id": "220", "question": "Что выявляет Inspecto?"}
222
+ {"id": "221", "question": "Какие должности занимал Игорь Картавых?"}
223
+ {"id": "222", "question": "Какие компании участвовали в производстве фильма 'Дом в огне'?"}
224
+ {"id": "223", "question": "Кто ранее рассматривался на роль Джеймса Бонда?"}
225
+ {"id": "224", "question": "Где можно найти Примирительное постельное белье?"}
226
+ {"id": "225", "question": "Кто рассматривается на роль Джеймса Бонда?"}
227
+ {"id": "226", "question": "Кто из актеров снимался в фильме Маленький шеф?"}
228
+ {"id": "227", "question": "Кто получил звезду на Аллее славы в Голливуде?"}
229
+ {"id": "228", "question": "Кто из актеров снимался в фильме 'Открытый брак'?"}
230
+ {"id": "229", "question": "Кто отменил все связанные с Россией культурные мероприятия?"}
231
+ {"id": "230", "question": "За какие команды играл Сергей Толчинский?"}
232
+ {"id": "231", "question": "Кто участвовал в проекте 'Гарри и мебель-мутант середины века'?"}
233
+ {"id": "232", "question": "Кого предложила Американская академия кинематографических искусств и наук на членство?"}
234
+ {"id": "233", "question": "Кто участвовал в производстве мюзикла «Вальс-бостон»?"}
235
+ {"id": "234", "question": "Какие позиции в зачете занимал Алексей Игнатов?"}
236
+ {"id": "235", "question": "Кто из актеров снимался в фильме Rain Reign?"}
237
+ {"id": "236", "question": "Кто стремится решить конфликт на Украине?"}
238
+ {"id": "237", "question": "Какие автомобили соответствуют требованиям государственной программы льготного кредитования?"}
239
+ {"id": "238", "question": "Какие автомобили доступны для приобретения по государственной программе льготного кредитования?"}
240
+ {"id": "239", "question": "Какие автомобили имеют начальную цену 2 169 900 рублей?"}
241
+ {"id": "240", "question": "Какие компании имеют одинаковую долю рынка?"}
242
+ {"id": "241", "question": "Какое место занимает Татьяна Ким в рейтинге Forbes?"}
243
+ {"id": "242", "question": "Кто принимал участие в Прощальном концерте Black Sabbath?"}
244
+ {"id": "243", "question": "Какие позиции в зачете занимал Эдуард Николаев?"}
245
+ {"id": "244", "question": "Кто из актеров снимался в фильме 'Постучись в мою дверь в Москве'?"}
246
+ {"id": "245", "question": "Что оценивает Inspecto?"}
247
+ {"id": "246", "question": "Какие фильмы относятся к жанру триллера?"}
248
+ {"id": "247", "question": "Какие автомобили подверглись снижению цены в диапазоне от 610 тысяч до 1 050 000 рублей?"}
249
+ {"id": "248", "question": "Кто из актеров снимался в фильме Бессмертная гвардия 2?"}
250
+ {"id": "249", "question": "Какие автомобили подешевели на 9,1%?"}
251
+ {"id": "250", "question": "Какие профессии имеет Антон Шастун?"}
252
+ {"id": "251", "question": "Кто приостановил поставки Украине?"}
253
+ {"id": "252", "question": "Кто участвовал в проекте «Дыши»?"}
254
+ {"id": "253", "question": "Что может быть целью более 900 баллистических ракет малой дальности?"}
255
+ {"id": "254", "question": "О чем высказалась Мария Захарова?"}
256
+ {"id": "255", "question": "Кто из актеров снимался в фильме 'Алиса в Пограничье'?"}
257
+ {"id": "256", "question": "Кто забил гол в ворота Дортмундской Боруссии?"}
258
+ {"id": "257", "question": "Кто получил 7 номинаций?"}
259
+ {"id": "258", "question": "Кто рассказал Variety?"}
260
+ {"id": "259", "question": "Кто из перечисленных является дипломатом?"}
261
+ {"id": "260", "question": "Кто занимается медициной?"}
262
+ {"id": "261", "question": "Кто из перечисленных людей является актером озвучивания?"}
263
+ {"id": "262", "question": "Кто из перечисленных людей имеет гражданство Китая?"}
264
+ {"id": "263", "question": "Кто является потенциальными противниками США?"}
265
+ {"id": "264", "question": "Кто из гонщиков входит в команду Trucks Garage Racing Team?"}
266
+ {"id": "265", "question": "Кто из перечисленных является кинокритиком?"}
267
+ {"id": "266", "question": "Кто из перечисленных людей проживает в Екатеринбурге?"}
268
+ {"id": "267", "question": "Кто участвовал в проекте Крутая перемена?"}
269
+ {"id": "268", "question": "Кто работал в ФГБУ Сакский военный клинический санаторий имени Пирогова?"}
270
+ {"id": "269", "question": "Кто участвует в проекте Фабрика звезд?"}
271
+ {"id": "270", "question": "Какие команды не участвуют?"}
272
+ {"id": "271", "question": "Сколько лет тем, чей возраст указан как 36 лет?"}
273
+ {"id": "272", "question": "Какие модели автомобилей собираются в России?"}
274
+ {"id": "273", "question": "Где производятся тормозные диски для автомобилей?"}
275
+ {"id": "274", "question": "Кто участвовал в схеме по вовлечению школьников в преступную деятельность?"}
276
+ {"id": "275", "question": "Кто является членом Американской академии кинематографических искусств и наук?"}
277
+ {"id": "276", "question": "Кто из перечисленных людей является бизнесменом?"}
278
+ {"id": "277", "question": "Кто из перечисленных имеет одинаковый возраст?"}
279
+ {"id": "278", "question": "Кто из перечисленных является актёром?"}
280
+ {"id": "279", "question": "Кто симпатизирует Отару Кушанашвили?"}
281
+ {"id": "280", "question": "Кто рассказал Страсти?"}
282
+ {"id": "281", "question": "Кто получает одинаковый гонорар за концерт?"}
283
+ {"id": "282", "question": "Кто является корреспондентом?"}
284
+ {"id": "283", "question": "Какие псевдонимы использовал Алекс Лесли?"}
285
+ {"id": "284", "question": "Кто умер в возрасте 73 лет?"}
286
+ {"id": "285", "question": "Кто находится в федеральном розыске?"}
287
+ {"id": "286", "question": "Кто был осужден за причинение вреда здоровью?"}
288
+ {"id": "287", "question": "Какие группы играют рок-музыку?"}
289
+ {"id": "288", "question": "Кто входит в состав команды Nissan Patrol?"}
290
+ {"id": "289", "question": "Какие автомобильные бренды продали по 30 единиц?"}
291
+ {"id": "290", "question": "Кто является топ-менеджером?"}
292
+ {"id": "291", "question": "Кто имеет гражданство Великобритании?"}
293
+ {"id": "292", "question": "Кто из перечисленных людей имеет одинаковый возраст?"}
294
+ {"id": "293", "question": "Какие автомобили имеют одинаковое количество продаж?"}
295
+ {"id": "294", "question": "Кто получил 4% голосов?"}
296
+ {"id": "295", "question": "Какие организации имеют женщин в армии?"}
297
+ {"id": "296", "question": "Какие продукты производит компания Xiaomi?"}
298
+ {"id": "297", "question": "Кто из перечисленных умер?"}
299
+ {"id": "298", "question": "Кто снялся в клипе Every Girl You’ve Ever Loved?"}
300
+ {"id": "299", "question": "Какие проекты имеют приоритет для закупок государственных и муниципальных нужд?"}
301
+ {"id": "300", "question": "На какой платформе транслировался сериал, получивший награду за Лучшего пилота по версии зрительского голосования?"}
302
+ {"id": "301", "question": "В каком типе здания жил Виктор Цой?"}
303
+ {"id": "302", "question": "Кого поздравила бывшая партнерша Давида Манукяна?"}
304
+ {"id": "303", "question": "Кто является генеральным директором компании, купившей Superhuman?"}
305
+ {"id": "304", "question": "Какая организация опубликовала информацию о сбое, документы о котором засекречены Службой безопасности Украины?"}
306
+ {"id": "305", "question": "Какая максимальная скорость транспортного средства, разработанного компанией Fastport?"}
307
+ {"id": "306", "question": "Какова максимальная скорость транспортного средства, произведенного Performance Manufacturing Center?"}
308
+ {"id": "307", "question": "Где находится уязвимое место танка, уничтоженного дроном с системой FPV?"}
309
+ {"id": "308", "question": "Какое событие вдохновило фильм, финансируемый Польским киноинститутом?"}
310
+ {"id": "309", "question": "Чья жизнь легла в основу фильма, финансируемого Польским киноинститутом?"}
311
+ {"id": "310", "question": "Кто дирижировал оркестром на концерте в поддержку детского хосписа «Дом с маяком»?"}
312
+ {"id": "311", "question": "Кто стал соавтором сценария фильма, снятого Йоакимом Триером?"}
313
+ {"id": "312", "question": "В каком стиле был построен дом, в котором жил Виктор Цой?"}
314
+ {"id": "313", "question": "Кто дал работу актеру, получившему условно-досрочное освобождение?"}
315
+ {"id": "314", "question": "В каком регионе проживает мужчина, получивший ожоги и ушибленные раны?"}
316
+ {"id": "315", "question": "Кто публично поддержал футболиста, который отказался платить вымогателям?"}
317
+ {"id": "316", "question": "В какой испанской провинции произошла авария у футболиста, игравшего за Ливерпуль?"}
318
+ {"id": "317", "question": "На какой платформе можно найти историю Агнии и Саши?"}
319
+ {"id": "318", "question": "Какую позицию занимает актриса, которая поддерживает Украину?"}
320
+ {"id": "319", "question": "В каких регионах доступен продукт, разработанный компанией Fastport?"}
321
+ {"id": "320", "question": "Какой тип стекла используется для защиты смартфона, представленного компанией Oppo?"}
322
+ {"id": "321", "question": "Кто сыграл персонажа, который похитил Усаги?"}
323
+ {"id": "322", "question": "Кто разработал концепт-дизайн Mako Shark II?"}
324
+ {"id": "323", "question": "Кто является генеральным директором компании, приобретшей Coda?"}
325
+ {"id": "324", "question": "Сколько стоит имущество матери Андрея Долгополова?"}
326
+ {"id": "325", "question": "Какова эффективность роботов, производство которых откладывает компания Tesla?"}
327
+ {"id": "326", "question": "Где опубликовал информацию губернатор Запорожской области?"}
328
+ {"id": "327", "question": "В каком году вступит в силу закон, введенный в Египте для регистрации новых смартфонов?"}
329
+ {"id": "328", "question": "Какое место заняла команда, в которой играет Федор Смолов?"}
330
+ {"id": "329", "question": "Какой эффект лежит в основе разработки Владимира Горбашова?"}
331
+ {"id": "330", "question": "Какова основная цель инструмента, разработанного Университетом Иннополис?"}
332
+ {"id": "331", "question": "Где произошел инцидент с высушиванием мокрой одежды на Вечном огне?"}
333
+ {"id": "332", "question": "На какой платформе можно найти проект, в котором участвует Мария Аронова?"}
334
+ {"id": "333", "question": "Какова примерная дистанция знаменитой велогонки, которую можно посмотреть на платформе Okko?"}
335
+ {"id": "334", "question": "Какой тип обложки у альбома Charli XCX, выпущенного в 2024 году?"}
336
+ {"id": "335", "question": "Как называлась песня, с которой дебютировала исполнительница VENNA?"}
337
+ {"id": "336", "question": "Где жил человек, совершивший преступление, связанное с пыткам�� людей на автомойке?"}
338
+ {"id": "337", "question": "Кто проиграл команде, в ворота которой забил Максимилиан Байер?"}
339
+ {"id": "338", "question": "Какое заболевание вызвано личинками, которые поражают кожу и слизистую глаза?"}
340
+ {"id": "339", "question": "Кто сыграл в фильме, снятом Марком Брокау?"}
341
+ {"id": "340", "question": "Какова средняя длина этапа велогонки, которую показывает Okko?"}
342
+ {"id": "341", "question": "Кто написал книгу, которая доступна в интернете?"}
343
+ {"id": "342", "question": "В каком месяце состоялся дебют новинки Lamborghini?"}
344
+ {"id": "343", "question": "Какова функция дома, в котором жил Виктор Цой?"}
345
+ {"id": "344", "question": "Какая организация профинансировала фильм, вдохновленный призывами к канонизации Иоанна Павла II?"}
346
+ {"id": "345", "question": "Какое место в лиге занимает команда, за которую играет Эсекьель Барко?"}
347
+ {"id": "346", "question": "Кто основал платформу, которая поддерживает импорт ASCII-табулатур?"}
348
+ {"id": "347", "question": "В каком регионе находится город, который ранее контролировали Вооруженные силы Украины?"}
349
+ {"id": "348", "question": "Какой тип приложения был куплен компанией Grammarly?"}
350
+ {"id": "349", "question": "К какому типу отношений призывает представительница России?"}
351
+ {"id": "350", "question": "Как долго могут храниться данные на продукте Cerabyte?"}
352
+ {"id": "351", "question": "Какова примерная дистанция велосипедной гонки, проводимой во Франции?"}
353
+ {"id": "352", "question": "Какой статус имеет дом, в котором жил Виктор Цой?"}
354
+ {"id": "353", "question": "Какую позицию занимает актриса, собирающая деньги для ВСУ?"}
355
+ {"id": "354", "question": "Какое место в лиге занял клуб, проигравший Ростову?"}
356
+ {"id": "355", "question": "Где работала мать Андрея Долгополова?"}
357
+ {"id": "356", "question": "Какое событие было увековечено в симфонии Дмитрия Шостаковича?"}
358
+ {"id": "357", "question": "Каково основное предназначение бомбы, произведенной в США?"}
359
+ {"id": "358", "question": "Когда проводится фестиваль в Москве?"}
360
+ {"id": "359", "question": "В каком фильме снялся актер, который готовится сделать предложение Виттории Черетти?"}
361
+ {"id": "360", "question": "Кто готовится сделать предложение девушке, испортившей платье от Dolce & Gabbanа?"}
362
+ {"id": "361", "question": "Куда летел самолет, на котором путешествовал врач из Кишинева?"}
363
+ {"id": "362", "question": "Какое место заняла команда, в которой играет Федор Смолов?"}
364
+ {"id": "363", "question": "Где находится компания, планирующая запуск уведомлений по отзывным и сервисным кампаниям?"}
365
+ {"id": "364", "question": "Кто снял фильм, вдохновленный призывами к канонизации Иоанна Павла II?"}
366
+ {"id": "365", "question": "Какое уголовное дело было возбуждено в отношении театра, расположенного в Москве?"}
367
+ {"id": "366", "question": "Кто выпустил альбом, в который вошло 13 композиций?"}
368
+ {"id": "367", "question": "Какая организация проводит турнир, в котором выступает Мадридский Реал?"}
369
+ {"id": "368", "question": "В каком фильме снялся актер Никита Адай?"}
370
+ {"id": "369", "question": "Кто стал режиссером фильма, созданного Мэгги Кан?"}
371
+ {"id": "370", "question": "Сколько стоила дореформенная модель автомобиля, произведенного компанией Great Wall Motor в России?"}
372
+ {"id": "371", "question": "В каком городе находится сервис, запущенный компанией Tesla?"}
373
+ {"id": "372", "question": "Где родился музыкант, знакомый Майклу Камену?"}
374
+ {"id": "373", "question": "Какой псевдоним был у человека, который был замешан в деле о пытках людей на автомойке?"}
375
+ {"id": "374", "question": "В каком возрасте игрок присоединится к команде Краснодар?"}
376
+ {"id": "375", "question": "Кого обняла бывшая партнерша Давида Манукяна?"}
377
+ {"id": "376", "question": "Каково основное предназначение бомбы, используемой США?"}
378
+ {"id": "377", "question": "На каком кинофестивале состоялась премьера фильма, снятого Дэвидом Макензи?"}
379
+ {"id": "378", "question": "В каких странах доступен проект, представленный компанией Google?"}
380
+ {"id": "379", "question": "Кто снял фильм, который вышел в России 14 августа?"}
381
+ {"id": "380", "question": "Какая компания является родительской организацией для проекта, целью которого является решение проблемы 'последней мили'?"}
382
+ {"id": "381", "question": "Какой язык является языковым барьером для политика из Германии?"}
383
+ {"id": "382", "question": "В каком городе проводился форум, организованный издательским домом Коммерсантъ?"}
384
+ {"id": "383", "question": "Какое место занял клуб, за который играет Эсекьель Барко, в РПЛ?"}
385
+ {"id": "384", "question": "Как долго длится альбом, выпущенный SAULT?"}
386
+ {"id": "385", "question": "Сколько судебных дел было у жителя Уфы?"}
387
+ {"id": "386", "question": "Сколько треков в альбоме, выпущенном Джеком Харлоу?"}
388
+ {"id": "387", "question": "Сколько треков в альбоме, выпущенном SAULT?"}
389
+ {"id": "388", "question": "В столице какой страны были арестованы российские туристы?"}
390
+ {"id": "389", "question": "Какой виртуальный ассистент используется в автомобилях, произведенных компанией АвтоВАЗ?"}
391
+ {"id": "390", "question": "Где проживает партнер Акмаль?"}
392
+ {"id": "391", "question": "Кто публично поддержал футболиста, участвовавшего в конфликте в столичном кафе?"}
393
+ {"id": "392", "question": "Какой риск готов был принять глава компании Intel?"}
394
+ {"id": "393", "question": "Кто высказал мнение о футболисте, который должен покинуть команду из-за своей супруги?"}
395
+ {"id": "394", "question": "Где произошло преступление, связанное с человеком, известным как Александр Лачугин?"}
396
+ {"id": "395", "question": "В какую команду перешел футболист, чей трансфер стоил €4,5 млн?"}
397
+ {"id": "396", "question": "Какое место в лиге занимает команда, в которую перейдет Гаэтан Перрен?"}
398
+ {"id": "397", "question": "Какой максимальный запас хода у транспортного средства, произведенного компанией Performance Manufacturing Center?"}
399
+ {"id": "398", "question": "С кем конфликтовал исполнитель, который участвовал в проекте Фабрика звезд?"}
400
+ {"id": "399", "question": "В какой стране находится футуристический город, основанный Аконом?"}
401
+ {"id": "400", "question": "Какова сумма прожиточного минимума матери Луны?"}
402
+ {"id": "401", "question": "Где сейчас находится 13-летний школьник?"}
403
+ {"id": "402", "question": "Какое радио организовало мероприятие, на котором выступил Ираклий Пирцхалава?"}
404
+ {"id": "403", "question": "Какой псевдоним был у главаря банды?"}
405
+ {"id": "404", "question": "На каком фестивале состоялась премьера фильма с музыкой Ханса Циммера?"}
406
+ {"id": "405", "question": "Кто поцеловался с человеком, поведение которого объяснила Дарья Заливнова?"}
407
+ {"id": "406", "question": "Какой материал полупроводников используется в продуктах компании Xiaomi?"}
408
+ {"id": "407", "question": "На каком фестивале состоялась премьера фильма режиссера Рона Ховарда?"}
409
+ {"id": "408", "question": "Какая компания приобрела фирму, сооснователем которой является Шишир Мехротра?"}
410
+ {"id": "409", "question": "В какой стране происходит действие фильма, который длится 24 часа?"}
411
+ {"id": "410", "question": "Сколько времени длится фильм, снятый Рунаром Рунарссоном?"}
412
+ {"id": "411", "question": "Где базируется самолет, испытания которого проводятся на аэродроме имени Громова?"}
413
+ {"id": "412", "question": "Где проводятся испытания самолета, базирующегося в Жуковском?"}
414
+ {"id": "413", "question": "Кто разработал проект, использующий технологию ИИ?"}
415
+ {"id": "414", "question": "Какая компания занималась производством анимационного сериала, созданного Мэгги Кан?"}
416
+ {"id": "415", "question": "Где был сбит беспилотник, который был уничтожен российскими средствами противовоздушной обороны?"}
417
+ {"id": "416", "question": "Какой тип привода у автомобиля, премьера которого состоится на ПМЭФ-2025?"}
418
+ {"id": "417", "question": "На каком мероприятии присутствовал актер, который сыграл Карлайла Каллена?"}
419
+ {"id": "418", "question": "Какой тип транспортного средства был представлен на ПМЭФ-2025?"}
420
+ {"id": "419", "question": "На каком мероприятии состоится премьера автомобиля на платформе Vesta?"}
421
+ {"id": "420", "question": "Кто снял фильм, основанный на поэме Александра Пушкина?"}
422
+ {"id": "421", "question": "На каком мероприятии состоится премьера автомобиля, произведенного компанией АвтоВАЗ?"}
423
+ {"id": "422", "question": "Чем обвиняют человека, задержанного во Франции?"}
424
+ {"id": "423", "question": "В какой стране был задержан человек, обвиняемый в хакерской деятельности?"}
425
+ {"id": "424", "question": "Какое средство коммуникации использует мэр Москвы?"}
426
+ {"id": "425", "question": "В каком учебном заведении учился музыкант, известный как Мартин Фултерман?"}
427
+ {"id": "426", "question": "Кому готовится сделать предложение актер, снявшийся в фильме Убийцы цветочной луны?"}
428
+ {"id": "427", "question": "Какая тема выставки, которую курирует Никита Петров?"}
429
+ {"id": "428", "question": "Кто публично поддержал футболиста, который участвовал в драке в ресторане «Кофемания» в Москве?"}
430
+ {"id": "429", "question": "Какие дополнительные функции были в автомобиле, который ранее был зарегистрирован в Украине?"}
431
+ {"id": "430", "question": "Кто является отцом девушки, которая планирует устроить шоу мирового уровня в России?"}
432
+ {"id": "431", "question": "Где проживал человек, совершивший преступление, связанное с пытками людей на автомойке?"}
433
+ {"id": "432", "question": "Какое распределение крутящего момента имеет модель Chery?"}
434
+ {"id": "433", "question": "Какую профессию имеет персонаж, которого сыграла Приянка Чопра Джонас?"}
435
+ {"id": "434", "question": "Какой турнир покинул клуб, проигравший Ростову?"}
436
+ {"id": "435", "question": "Где состоялась премьера фильма, снятого Роном Ховардом?"}
437
+ {"id": "436", "question": "В каком году ожидается премьера фильма, финансируемого Польским киноинститутом?"}
438
+ {"id": "437", "question": "Кто снял фильм, вдохновленный Кей-поп-индустрией?"}
439
+ {"id": "438", "question": "Где состоялась премьера фильма, музыку к которому написал Ханс Циммер?"}
440
+ {"id": "439", "question": "Какая национальность у актера, сыгравшего роль Коула Тернера?"}
441
+ {"id": "440", "question": "Кто снял фильм, выпущенный 13 ноября?"}
442
+ {"id": "441", "question": "В какой стране состоялась встреча, на которой обсуждалось укрепление научного суверенитета стран БРИКС?"}
443
+ {"id": "442", "question": "Какой дорожный просвет имеет автомобиль, произведенный компанией АвтоВАЗ?"}
444
+ {"id": "443", "question": "В каком турнире выступает команда, которая сыграет с ПСЖ?"}
445
+ {"id": "444", "question": "Какой турнирный матч проводит команда, которой руководит Хаби Алонсо?"}
446
+ {"id": "445", "question": "Какая организация понесла ущерб в размере суммы, похищенной у Евгения Кононова?"}
447
+ {"id": "446", "question": "Какая компания имеет права на показ велосипедной гонки, проводимой во Франции?"}
448
+ {"id": "447", "question": "Какой тип транспортного средства используется в сервисе роботакси, запущенном компанией Tesla?"}
449
+ {"id": "448", "question": "Кто организовал мероприятие, которое посетила Наталья Гулькина?"}
450
+ {"id": "449", "question": "В каком месяце начинаются съемки фильма, финансируемого Польским киноинститутом?"}
451
+ {"id": "450", "question": "Какая компания уволила Омеда Афшара?"}
452
+ {"id": "451", "question": "Кого обвинили в мошенничестве в особо крупном размере и кто работал в АО 'Форпост Балтики Плюс'?"}
453
+ {"id": "452", "question": "На какой платформе можно посмотреть фильм «Дыши»?"}
454
+ {"id": "453", "question": "Кто поцеловался с Филиппом Киркоровым и чье поведение объяснила Дарья Заливнова?"}
455
+ {"id": "454", "question": "Кто заявил, что встречи с украинской стороной не планируются и сделал комментарий о состоянии переговорного процесса?"}
456
+ {"id": "455", "question": "Какой гражданин России обвиняется в покушении на суверенитет и территориальную целостность Украины?"}
457
+ {"id": "456", "question": "Кого Винницкий городской суд приговорил за покушение на суверенитет и территориальную целостность Украины?"}
458
+ {"id": "457", "question": "Какая компания является платформой трансляции Тур де Франс?"}
459
+ {"id": "458", "question": "Какая компания, работающая в области производства накопителей для ЦОДов, планирует запустить пилотную систему к 2025-2026 годам?"}
460
+ {"id": "459", "question": "Кто высказал мнение об Украине и сделал заявление о запросе Украины на систему ПВО Patriot?"}
461
+ {"id": "460", "question": "Кто, будучи руководителем производственно-демонтажного отдела, похитил 30 миллионов рублей?"}
462
+ {"id": "461", "question": "Кто занимал должность старшего тренера сборной России по фристайлу в течение 7 лет?"}
463
+ {"id": "462", "question": "Кто, будучи главным редактором журнала «Московское наследие», считает преобразование монорельса в парк разумным решением?"}
464
+ {"id": "463", "question": "Кто забил 10 голов и сделал 11 результативных передач в сезоне?"}
465
+ {"id": "464", "question": "Какая компания показала самый высокий рост продаж среди крупных производителей компьютеров в США в первом квартале 2025 года и поставила 2,705 млн устройств?"}
466
+ {"id": "465", "question": "Какая организация стремится к формированию стабильной глобальной экономической архитектуры, основанной на принципах универсальности, транспарентности и недискриминации?"}
467
+ {"id": "466", "question": "Кому был назначен домашний арест и чье дело рассматривалось в закрытом судебном процессе?"}
468
+ {"id": "467", "question": "Кто получил продление домашнего ареста на 30 суток по делу о нарушениях при финансировании партии «Шор»?"}
469
+ {"id": "468", "question": "Кто сделал заявление ТАСС о том, что Россия доказала успешное экономическое развитие несмотря на санкции?"}
470
+ {"id": "469", "question": "Какая бактерия может вызывать заболевания ЖКТ и передаваться орально-оральным путем?"}
471
+ {"id": "470", "question": "Какой метод используется в фармакологических исследованиях и применяется в Новосибирском государственном университете?"}
472
+ {"id": "471", "question": "Кто применяет беспилотники или ракеты для атаки на Константиновку?"}
473
+ {"id": "472", "question": "Какое заболевание распространено в Крыму и вызвано личинками нитевидных нематод?"}
474
+ {"id": "473", "question": "Кто получил повышение до куратора работы Tesla в Европе и Северной Америке, но позже был уволен компанией?"}
475
+ {"id": "474", "question": "Что может выявлять случаи плагиата и формировать рейтинги членов команды?"}
476
+ {"id": "475", "question": "Что может выявить случаи плагиата и снизить риск утечки конфиденциальной информации?"}
477
+ {"id": "476", "question": "В каком проекте, находящемся в разработке, участвует Уолтон Гоггинс?"}
478
+ {"id": "477", "question": "Какая компания, разработавшая Doomsday: Last Survivors, имеет Китай в качестве страны происхождения?"}
479
+ {"id": "478", "question": "Кто сыграл роль Карлайла Каллена в Сумерках?"}
480
+ {"id": "479", "question": "Кто, будучи бывшим заместителем министра обороны, использовал средства для строительства частного дома с двумя этажами, бани и гаража?"}
481
+ {"id": "480", "question": "Кто, будучи бывшим заместителем министра обороны, распорядился похищенными миллионами в личных целях?"}
482
+ {"id": "481", "question": "Какой гражданин России обвиняется в хакерской деятельности?"}
483
+ {"id": "482", "question": "Кто, будучи сопредседателем координационного совета по интеграции новых регионов, сообщил о том, что Украинский беспилотный летательный аппарат атаковал машину скорой помощи в Запорожской области?"}
484
+ {"id": "483", "question": "В каком здании, построенном в конце 1930-х годов, находится Горбушка?"}
485
+ {"id": "484", "question": "Кто, будучи Председателем комиссии Общественной палаты РФ по вопросам суверенитета, сообщил о том, что Украинский беспилотный летательный аппарат атаковал машину скорой помощи в Запорожской области?"}
486
+ {"id": "485", "question": "Кто симпатизирует Артему Дзюбе и одобряет проявление эмоций на публике?"}
487
+ {"id": "486", "question": "Какая модель автомобиля была главным советским экспортным хитом в Германии и имела модификации в виде автодомов?"}
488
+ {"id": "487", "question": "Кто, будучи членом Комитета Госдумы по труду, соцполитике и делам ветеранов, заявил о повышении единого пособия на детей с 1 июля 2025 года?"}
489
+ {"id": "488", "question": "Какая новинка Lamborghini имеет мощность более 1015 сил?"}
490
+ {"id": "489", "question": "Какая новинка Lamborghini могла быть вдохновлена Miura?"}
491
+ {"id": "490", "question": "Кого подозревает Светлана Журова?"}
492
+ {"id": "491", "question": "Какой псевдоним использовал Энцо Гинацци для донесения правдивого мнения итальянцев до российских слушателей?"}
493
+ {"id": "492", "question": "Кто является участником игры и планирует восстание против организации?"}
494
+ {"id": "493", "question": "Кто предложил возобновление трехсторонних переговоров и сделал заявление в соцсети Х?"}
495
+ {"id": "494", "question": "Кто ждет предложения от своего возлюбленного Брэда Питта?"}
496
+ {"id": "495", "question": "Какой фильм, вдохновленный призывами к канонизации Иоанна Павла II, начал съемки в сентябре?"}
497
+ {"id": "496", "question": "Кого упрекнул Кит Келлог?"}
498
+ {"id": "497", "question": "В какой стране запрещены Песни Kizaru?"}
499
+ {"id": "498", "question": "Кто, будучи представителем ВВС Украины, подтвердил способность российских ракет сбрасывать ложные цели, которые обманывают системы Patriot?"}
500
+ {"id": "499", "question": "Кто склонял последователей к совершению действий сексуального характера в отношении москвичек под псевдонимом гуру соблазнения?"}
501
+ {"id": "500", "question": "Кто опубликовал Фотографию снаряда с надписью 'За мальчика Анатолия из Курска'?"}
502
+ {"id": "501", "question": "Кто посещал Высшую школу музыки и искусств и был знаком с Майклом Каменом?"}
503
+ {"id": "502", "question": "Кто призвал к расследованию задержаний граждан в Екатеринбурге и заморозил политический диалог с Россией?"}
504
+ {"id": "503", "question": "Какой фильм, финансируемый Польским киноинститутом, начинает съемки в сентябре?"}
505
+ {"id": "504", "question": "На каком типе ресурса Евгений Балицкий опубликовал информацию?"}
506
+ {"id": "505", "question": "Кто, будучи заместителем читинского транспортного прокурора, заявил, что причина происшествия — неисправность двигателя?"}
507
+ {"id": "506", "question": "Кто получил предложение от Акмаль?"}
508
+ {"id": "507", "question": "Какой хип-хоп-исполнитель будет проводить концертную резиденцию в Лас-Вегасе?"}
509
+ {"id": "508", "question": "Кто высказал мнение о необходимости закрепить цель иметь не менее 50% российских самолетов в авиапарках российских авиакомпаний на правительственном часе в Совете Федерации?"}
510
+ {"id": "509", "question": "Кто предпринял попытку ликвидации и провел авиаудары?"}
511
+ {"id": "510", "question": "Кто выразил разочарование приложениями для знакомств и высказал мнение о несоответствии реальных людей их онлайн-персонам?"}
512
+ {"id": "511", "question": "Кто, будучи исполнителем, провел гендер-пати?"}
513
+ {"id": "512", "question": "Кто был обвинен в склонении к насилию и предстал перед Коптевским судом Москвы?"}
514
+ {"id": "513", "question": "Кто обвиняется в превышении должностных полномочий с причинением тяжких последствий по части 3 статьи 286 УК РФ?"}
515
+ {"id": "514", "question": "Какое тюнинг-ателье, расположенное в Берлине, работает с Lada?"}
516
+ {"id": "515", "question": "Какая компания, расположенная в Германии, занимается тюнингом Lada?"}
517
+ {"id": "516", "question": "Кто может столкнуться с ограничением доступа к банковским счетам из-за долга в 1,6 млн рублей?"}
518
+ {"id": "517", "question": "Кто ранее отрицал совместный альбом с 50 Cent, но теперь планирует сотрудничать с ним?"}
519
+ {"id": "518", "question": "Кто не боится выступать в России и рассматривает Россию как возможное будущее место жительства?"}
520
+ {"id": "519", "question": "Кто участвовал в Переговорах и присутствовал на форуме Народного фронта «Все для победы!»?"}
521
+ {"id": "520", "question": "Кто предложил запретить работы по укладке асфальта в дождливую или снежную погоду, чтобы повысить качество и долговечность асфальтового покрытия?"}
522
+ {"id": "521", "question": "Кто играет роль дяди Роуз и снимается в фильме Rain Reign?"}
523
+ {"id": "522", "question": "Кто приостановил поставки отдельных видов вооружений на Украину?"}
524
+ {"id": "523", "question": "Какая страна, стратегически близкая к США, примет Кубок мира по киберспорту 2025?"}
525
+ {"id": "524", "question": "Кто участвовал в Denver Fan Expo и сыграл роль Карлайла Каллена?"}
526
+ {"id": "525", "question": "Где проводился форум Медиадом?"}
527
+ {"id": "526", "question": "Кто носил винтажное платье от Dolce & Gabbanа на свадьбе Джеффа Безоса?"}
528
+ {"id": "527", "question": "Кто работает в Okko в качестве продюсера документального контента?"}
529
+ {"id": "528", "question": "Кто работает в Лента.ру в качестве продюсера документального контента?"}
530
+ {"id": "529", "question": "Кто получил награду Лучший режиссер пилота сериала за проект «Нормальный»?"}
531
+ {"id": "530", "question": "Какой род занятий у Алексея Хухрева?"}
532
+ {"id": "531", "question": "Кто поддерживает Украину и придерживается антироссийской позиции?"}
533
+ {"id": "532", "question": "Кому Леонардо Ди Каприо готовится сделать предложение и кто носит серебристый клатч, ожерелье и браслет?"}
534
+ {"id": "533", "question": "Кто был приговорен к 16 годам лишения свободы за преступление, совершенное в Курской области?"}
535
+ {"id": "534", "question": "Кто был известен как Дядя Саша и был связан с трагедией Четырех студенток?"}
536
+ {"id": "535", "question": "Кто, будучи Министром обороны России, отдал приказ подготовить список новых технологий для введения в систему медицинской помощи военным?"}
537
+ {"id": "536", "question": "В каком фильме снимался Никита Кологривый?"}
538
+ {"id": "537", "question": "В какой пустыне, известной как самая сухая в мире, находится Чахнанатор?"}
539
+ {"id": "538", "question": "Кто выразил недовольство текущей ситуацией в Facebook?"}
540
+ {"id": "539", "question": "Кто выразил недовольство текущей ситуацией и направил заявление в Российское посольство?"}
541
+ {"id": "540", "question": "Кто снимался в Убить Билла и сотрудничал с Квентином Тарантино?"}
542
+ {"id": "541", "question": "Кто является временно исполняющим обязанности главного редактора Ленты.ру и генеральным директором онлайн-медиа?"}
543
+ {"id": "542", "question": "Где были арестованы российские туристы и где проходил суд?"}
544
+ {"id": "543", "question": "Кто опубликовал список любимых композиций и поделился своим плейлистом?"}
545
+ {"id": "544", "question": "Кто имеет рейтинг одобрения 61% и занимает 2-е место по рейтингу популярности?"}
546
+ {"id": "545", "question": "Кто заявил, что Запад готовит Молдавию к вооруженному конфликту с Россией и Приднестровьем?"}
547
+ {"id": "546", "question": "Кто, будучи бывшим главой Минтранса России, прогнозировал увеличение количества беспилотных машин в 20 раз за 5 лет?"}
548
+ {"id": "547", "question": "Кто является радиотелеграфистом и участником Проекта Время сильных?"}
549
+ {"id": "548", "question": "Кто получил предложение от Акмаль?"}
550
+ {"id": "549", "question": "Кто находится в конфликте с Виктором Дробышем и является потенциальным биологическим отцом ребенка Виталины Цымбалюк-Романовской?"}
551
+ {"id": "550", "question": "Кто отметил, что жители Курской области помогали друг другу во время опасности?"}
552
+ {"id": "551", "question": "Кто участвовал в Фабрике звезд и был в конфликте с Виктором Дробышем?"}
553
+ {"id": "552", "question": "Кто встретился с руководством РФ во время посещения Москвы?"}
554
+ {"id": "553", "question": "Кто съел четыре порции фасоли и вынудил сбежать съемочную группу?"}
555
+ {"id": "554", "question": "Кто съел четыре порции фасоли и научился есть на съемках более осторожно?"}
556
+ {"id": "555", "question": "Кто принял решение и подписал Указ о продлении срока действия высокого 'желтого' уровня террористической опасности на 60 суток?"}
557
+ {"id": "556", "question": "Кто является автором проекта Московской государственной картинной галереи Василия Нестеренко, которая в настоящее время строится?"}
558
+ {"id": "557", "question": "В какую страну переехал Евгений Чичваркин?"}
559
+ {"id": "558", "question": "В каком проекте участвует Рон Фанчес?"}
560
+ {"id": "559", "question": "Какая температура будет в конце июня в Москве?"}
561
+ {"id": "560", "question": "Какой суд рассмотрел дело Андрея Долгополова и наложил штраф на Елену Шарапову?"}
562
+ {"id": "561", "question": "Какой продукт Cerabyte имеет пропускную способность 2000 МБ/с?"}
563
+ {"id": "562", "question": "Кто погиб в бою во время участия в специальной военной операции?"}
564
+ {"id": "563", "question": "Какая платформа предоставляет доступ к афише концертов через свой раздел?"}
565
+ {"id": "564", "question": "Кто платит алименты Екатерине Климовой?"}
566
+ {"id": "565", "question": "В каком регионе расположены крупные предприятия и существует угроза экологической катастрофы?"}
567
+ {"id": "566", "question": "Кто провел авиаудары, чтобы остановить ядерную программу Ирана?"}
568
+ {"id": "567", "question": "Кто заявил, что число ударов БПЛА по России будет увеличиваться и какую должность он занимает?"}
569
+ {"id": "568", "question": "Кто выступил на Уральской ночи музыки и ответил на вопросы 5-tv.ru?"}
570
+ {"id": "569", "question": "Кто выступил на Уральской ночи музыки и ответил на вопросы журналистов?"}
571
+ {"id": "570", "question": "В какой стране умерла 18-летняя студентка из Украины?"}
572
+ {"id": "571", "question": "Какой гражданин Великобритании выразил мнение, что ослабление санкционного давления со стороны Запада в отношении России может стать стимулом для скорейшего разрешения конфликта на Украине?"}
573
+ {"id": "572", "question": "Кто отказался от вождения автомобиля и использует общественный транспорт?"}
574
+ {"id": "573", "question": "Кто отказался от употребления алкоголя для восстановления здоровья?"}
575
+ {"id": "574", "question": "Какое министерство прогнозирует, что продажи новых автомобилей сократятся на треть в 2025 году в России?"}
576
+ {"id": "575", "question": "Какое министерство в России подготовило Перечень моделей для таксопарков?"}
577
+ {"id": "576", "question": "Какой продукт Cerabyte имеет плотность хранения 100 ПБ на стойку?"}
578
+ {"id": "577", "question": "Кто был агентом и представлял интересы Майкла Мэдсена?"}
579
+ {"id": "578", "question": "Кто является ��оздателем трэш-метал-группы и участником Lipps Service With Scott Lipps?"}
580
+ {"id": "579", "question": "Какой турнир, организованный ФИФА, стал преемником Межконтинентального кубка?"}
581
+ {"id": "580", "question": "Как называется турнир, который проводится в США и является преемником Межконтинентального кубка?"}
582
+ {"id": "581", "question": "Кто владеет трехэтажным домом в Бережках и выступает с концертами в России?"}
583
+ {"id": "582", "question": "Кто имеет две квартиры на 1-й Тверской-Ямской улице и имеет запрет на въезд в Латвию?"}
584
+ {"id": "583", "question": "Какой тип транспортного средства представляет модель Tenet?"}
585
+ {"id": "584", "question": "Какой тип автомобиля представляет модель GAC GS8 Dragon?"}
586
+ {"id": "585", "question": "Кто встретился с Дональдом Трампом и попытался получить доступ к секретной информации?"}
587
+ {"id": "586", "question": "Кто создал музыку для Секретных материалов и был номинирован на премию Эмми?"}
588
+ {"id": "587", "question": "Где оказался преступник?"}
589
+ {"id": "588", "question": "Кто работает на RT и считает, что мир на Украине наступит после того, как Америка перестанет воевать за нее?"}
590
+ {"id": "589", "question": "Кто исполнил песню на самолете?"}
591
+ {"id": "590", "question": "Какое учреждение лечит пациентов с ранами и проводит процедуры восстановления?"}
592
+ {"id": "591", "question": "Кто, будучи официальным представителем МИД Катара, принял участие в пресс-конференции?"}
593
+ {"id": "592", "question": "В каком городе проживает Александр Лачугин и где было открыто Новое генконсульство Индии?"}
594
+ {"id": "593", "question": "Кто работал над сериалом HBO \"Одни из нас\" и покинул его после второго сезона?"}
595
+ {"id": "594", "question": "Кто является сценаристом и руководителем студии и креативным директором Naughty Dog?"}
596
+ {"id": "595", "question": "Кому был назначен штраф в размере 15 тысяч рублей?"}
597
+ {"id": "596", "question": "Кто умер в возрасте 37 лет и о ком была опубликована статья в The Sun?"}
598
+ {"id": "597", "question": "Кто проиграл 7 последовательных боев и проиграл Филиппу Велла?"}
599
+ {"id": "598", "question": "Где находится рынок, основанный Игорем Тонких и Александром Лариным?"}
600
+ {"id": "599", "question": "Кто был студентом Академии художеств и погиб в аварии с бензовозом?"}
example/.DS_Store ADDED
Binary file (6.15 kB). View file
 
example/5/corr_answers.jsonl ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {"id": "0", "answer": "-61,3 процента"}
2
+ {"id": "1", "answer": "1980.0"}
3
+ {"id": "2", "answer": "продолжительная болезнь"}
4
+ {"id": "3", "answer": "Практически на 100 процентов"}
5
+ {"id": "4", "answer": "Русский язык и литература"}
example/600/.DS_Store ADDED
Binary file (6.15 kB). View file
 
example/600/corr_answers.jsonl ADDED
@@ -0,0 +1,600 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {"id": "0", "answer": "-61,3 процента"}
2
+ {"id": "1", "answer": "1980.0"}
3
+ {"id": "2", "answer": "продолжительная болезнь"}
4
+ {"id": "3", "answer": "Практически на 100 процентов"}
5
+ {"id": "4", "answer": "Русский язык и литература"}
6
+ {"id": "5", "answer": "-36,6 процента"}
7
+ {"id": "6", "answer": "Александр Коц"}
8
+ {"id": "7", "answer": "Александр Хинштейн"}
9
+ {"id": "8", "answer": "Часть 3 статья 286 УК РФ"}
10
+ {"id": "9", "answer": "ФГБУ Сакский военный клинический санаторий имени Пирогова"}
11
+ {"id": "10", "answer": "Одобрения типа транспортного средства (ОТТС)"}
12
+ {"id": "11", "answer": "Болонья"}
13
+ {"id": "12", "answer": "Автомойка в Каменске-Уральском"}
14
+ {"id": "13", "answer": "2,6%"}
15
+ {"id": "14", "answer": "Zubr"}
16
+ {"id": "15", "answer": "Филипп Киркоров"}
17
+ {"id": "16", "answer": "Овальный кабинет"}
18
+ {"id": "17", "answer": "Lamborghini Urus второго поколения будет гибридом"}
19
+ {"id": "18", "answer": "+55,9 процента"}
20
+ {"id": "19", "answer": "Вальс-бостон"}
21
+ {"id": "20", "answer": "решение проблемы 'последней мили'"}
22
+ {"id": "21", "answer": "Штурмовая рота"}
23
+ {"id": "22", "answer": "Лучший режиссер пилота сериала"}
24
+ {"id": "23", "answer": "3%"}
25
+ {"id": "24", "answer": "Денис Мантуров"}
26
+ {"id": "25", "answer": "Специальную военную операцию (СВО)"}
27
+ {"id": "26", "answer": "1960.0"}
28
+ {"id": "27", "answer": "Брэд Питт"}
29
+ {"id": "28", "answer": "Росатом композитные технологии"}
30
+ {"id": "29", "answer": "Renault"}
31
+ {"id": "30", "answer": "Профессиональный фиксер"}
32
+ {"id": "31", "answer": "Мать"}
33
+ {"id": "32", "answer": "Мэр"}
34
+ {"id": "33", "answer": "Пэдди Консидайн"}
35
+ {"id": "34", "answer": "Филипп Киркоров"}
36
+ {"id": "35", "answer": "Исправительная колония общего режима"}
37
+ {"id": "36", "answer": "Радиотелеграфист"}
38
+ {"id": "37", "answer": "Израиль"}
39
+ {"id": "38", "answer": "Британец"}
40
+ {"id": "39", "answer": "Acura NSX"}
41
+ {"id": "40", "answer": "Мои дорогие тиктокнутые огузки"}
42
+ {"id": "41", "answer": "-34,8 процента"}
43
+ {"id": "42", "answer": "Кубка"}
44
+ {"id": "43", "answer": "Домашний арест"}
45
+ {"id": "44", "answer": "Роман Пономаренко"}
46
+ {"id": "45", "answer": "покушение на суверенитет и территориальную целостность Украины"}
47
+ {"id": "46", "answer": "Владимир Кехман"}
48
+ {"id": "47", "answer": "США"}
49
+ {"id": "48", "answer": "Переговоры в Стамбуле"}
50
+ {"id": "49", "answer": "Остановить ядерную программу Ирана"}
51
+ {"id": "50", "answer": "Ural Motorsport"}
52
+ {"id": "51", "answer": "Мистер Блондин в Бешеных псах"}
53
+ {"id": "52", "answer": "Пермь"}
54
+ {"id": "53", "answer": "Президент США"}
55
+ {"id": "54", "answer": "Кит Келлог"}
56
+ {"id": "55", "answer": "5,4%"}
57
+ {"id": "56", "answer": "Кубат Шамшиев"}
58
+ {"id": "57", "answer": "настороженно"}
59
+ {"id": "58", "answer": "Балтика"}
60
+ {"id": "59", "answer": "Рюдзи"}
61
+ {"id": "60", "answer": "ChatGPT"}
62
+ {"id": "61", "answer": "Роботизированный грузовик на базе Shacman X6000"}
63
+ {"id": "62", "answer": "призывы к канонизации Иоанна Павла II"}
64
+ {"id": "63", "answer": "Исландия"}
65
+ {"id": "64", "answer": "Террористический акт"}
66
+ {"id": "65", "answer": "Антон Алиханов"}
67
+ {"id": "66", "answer": "Профессиональный игрок"}
68
+ {"id": "67", "answer": "Ligier JS53"}
69
+ {"id": "68", "answer": "Алекс Лесли"}
70
+ {"id": "69", "answer": "КНДР"}
71
+ {"id": "70", "answer": "21 год"}
72
+ {"id": "71", "answer": "Инга Ибсдоттер Лиллеос"}
73
+ {"id": "72", "answer": "Александр Лукашенко"}
74
+ {"id": "73", "answer": "-48,4 процента"}
75
+ {"id": "74", "answer": "6,2 тысячи автомобилей"}
76
+ {"id": "75", "answer": "Premier"}
77
+ {"id": "76", "answer": "2 тысячи автомобилей"}
78
+ {"id": "77", "answer": "2,2%"}
79
+ {"id": "78", "answer": "Aydınlık"}
80
+ {"id": "79", "answer": "Дед-паук"}
81
+ {"id": "80", "answer": "14 августа"}
82
+ {"id": "81", "answer": "Неисправность двигателя"}
83
+ {"id": "82", "answer": "Alma"}
84
+ {"id": "83", "answer": "сдачи банковских карт в аренду"}
85
+ {"id": "84", "answer": "Харун Ахтар Хан"}
86
+ {"id": "85", "answer": "RuStore"}
87
+ {"id": "86", "answer": "Владимир Путин"}
88
+ {"id": "87", "answer": "Grammarly"}
89
+ {"id": "88", "answer": "Парень с нашего кладбища"}
90
+ {"id": "89", "answer": "2-е место"}
91
+ {"id": "90", "answer": "Patriot"}
92
+ {"id": "91", "answer": "Данные о техническом обслуживании автомобилей Lada"}
93
+ {"id": "92", "answer": "1,9 тысячи автомобилей"}
94
+ {"id": "93", "answer": "Условно-досрочное освобождение"}
95
+ {"id": "94", "answer": "16 лет лишения свободы"}
96
+ {"id": "95", "answer": "Лучший актер пилота сериала"}
97
+ {"id": "96", "answer": "Социальная сеть X"}
98
+ {"id": "97", "answer": "Оксана Сташенко"}
99
+ {"id": "98", "answer": "Польский киноинститут"}
100
+ {"id": "99", "answer": "Уголовное дело о растрате или присвоении при ремонте здания театра на Тверском бульваре"}
101
+ {"id": "100", "answer": "Четыре"}
102
+ {"id": "101", "answer": "Флебология и сердечно-сосудистая хирургия"}
103
+ {"id": "102", "answer": "Рак"}
104
+ {"id": "103", "answer": "Станислав Розанов"}
105
+ {"id": "104", "answer": "Даниил Касаткин"}
106
+ {"id": "105", "answer": "Эллен Перес"}
107
+ {"id": "106", "answer": "Индастриал"}
108
+ {"id": "107", "answer": "США, Европа, Китай"}
109
+ {"id": "108", "answer": "отец-одиночка"}
110
+ {"id": "109", "answer": "30 тысяч рублей"}
111
+ {"id": "110", "answer": "Ноэл"}
112
+ {"id": "111", "answer": "7000.0"}
113
+ {"id": "112", "answer": "Выиграть трофей с командой"}
114
+ {"id": "113", "answer": "9 лет тюрьмы"}
115
+ {"id": "114", "answer": "До 15 лет"}
116
+ {"id": "115", "answer": "ГАЗ Рейд Спорт"}
117
+ {"id": "116", "answer": "Плюс 16-18 градусов"}
118
+ {"id": "117", "answer": "Ростов-на-Дону"}
119
+ {"id": "118", "answer": "Владимир Зеленский"}
120
+ {"id": "119", "answer": "Chery"}
121
+ {"id": "120", "answer": "Авария с бензовозом"}
122
+ {"id": "121", "answer": "Общее отделение"}
123
+ {"id": "122", "answer": "1 218"}
124
+ {"id": "123", "answer": "Vesta"}
125
+ {"id": "124", "answer": "перемещаться во времени"}
126
+ {"id": "125", "answer": "Протезист"}
127
+ {"id": "126", "answer": "38.0"}
128
+ {"id": "127", "answer": "Масуд Пезешкиан"}
129
+ {"id": "128", "answer": "не продается"}
130
+ {"id": "129", "answer": "перевалочная база для поставки сборочных компонентов на российский рынок"}
131
+ {"id": "130", "answer": "люди лгут о себе в описании"}
132
+ {"id": "131", "answer": "фестивали, концерты, спектакли и выставки"}
133
+ {"id": "132", "answer": "при появлении российских аналогов или возобновлении прямых поставок"}
134
+ {"id": "133", "answer": "Сэкономить"}
135
+ {"id": "134", "answer": "Запрет на въезд в Латвию"}
136
+ {"id": "135", "answer": "Ослабление санкционного давления со стороны Запада в отношении России может стать стимулом для скорейшего разрешения конфликта на Украине"}
137
+ {"id": "136", "answer": "Разработчик видеоигр"}
138
+ {"id": "137", "answer": "8,9 тысячи автомобилей"}
139
+ {"id": "138", "answer": "Коул Тернер"}
140
+ {"id": "139", "answer": "Дом Костерина"}
141
+ {"id": "140", "answer": "Парфюмерия"}
142
+ {"id": "141", "answer": "отказалась комментировать"}
143
+ {"id": "142", "answer": "Маргарита Симоньян"}
144
+ {"id": "143", "answer": "Виттория Черетти"}
145
+ {"id": "144", "answer": "1,3 миллиона машин"}
146
+ {"id": "145", "answer": "AKoin"}
147
+ {"id": "146", "answer": "автомат Калашникова"}
148
+ {"id": "147", "answer": "Премьер-министр Австралии"}
149
+ {"id": "148", "answer": "Федор Степанов"}
150
+ {"id": "149", "answer": "40%"}
151
+ {"id": "150", "answer": "['Volkswagen', 'Omoda', 'Jaecoo', 'Chery', 'BMW', 'Land Rover', 'Exeed', 'Audi']"}
152
+ {"id": "151", "answer": "['Renault 12', 'Fiat-124']"}
153
+ {"id": "152", "answer": "['откладывание покупок со стороны россиян', 'рост ставок по автокредитам']"}
154
+ {"id": "153", "answer": "['Business', 'Comfort']"}
155
+ {"id": "154", "answer": "['Александр Лачугин', 'Дядя Саша']"}
156
+ {"id": "155", "answer": "['Фотоагентство', 'Группа Jagath']"}
157
+ {"id": "156", "answer": "['Препрег-СКМ', 'Би Питрон']"}
158
+ {"id": "157", "answer": "['17 июля', '18 июля']"}
159
+ {"id": "158", "answer": "['Остановка строительных работ', 'Нехватка финансирования']"}
160
+ {"id": "159", "answer": "['Сергей Узельман', 'Денис Шей��-Митрофанов', 'Александр Малов', 'Руслан Авзалов', 'Артем Тумак', 'Алексей Безденежных']"}
161
+ {"id": "160", "answer": "['Дмитрий Минаев', 'Сергей Минаев']"}
162
+ {"id": "161", "answer": "['Balchug Racing', 'SVL Racing']"}
163
+ {"id": "162", "answer": "['Ноктюрама', 'Предчувствие']"}
164
+ {"id": "163", "answer": "['Светлана Штеба', 'Елена Кондратьева', 'Илья Маланин']"}
165
+ {"id": "164", "answer": "['Две квартиры в элитном ЖК «Четыре ветра»', 'Трехэтажный дом в Бережках', 'Две квартиры на 1-й Тверской-Ямской улице']"}
166
+ {"id": "165", "answer": "['Владимир Путин', 'Дональд Трамп']"}
167
+ {"id": "166", "answer": "['JavaScript', 'Go', 'Docker', 'Python', 'TypeScript']"}
168
+ {"id": "167", "answer": "['Start', 'Иви']"}
169
+ {"id": "168", "answer": "['Ванесса Кирби', 'Сидни Суини', 'Даниэль Брюль', 'Ана де Армас', 'Джуд Лоу']"}
170
+ {"id": "169", "answer": "['Венгрия', 'Словакия']"}
171
+ {"id": "170", "answer": "['Про уродов и людей', 'Брат 2', 'Жмурки', 'Брат', 'Груз 200']"}
172
+ {"id": "171", "answer": "['Ванесса Кирби', 'Сидни Суини', 'Даниэль Брюль', 'Ана де Армас', 'Джуд Лоу']"}
173
+ {"id": "172", "answer": "['Павел Мамаев', 'Александр Кокорин']"}
174
+ {"id": "173", "answer": "['Eagle Award', 'Inkpot Award']"}
175
+ {"id": "174", "answer": "['Севск', 'Брянская область']"}
176
+ {"id": "175", "answer": "['Charli XCX', 'Post Malone']"}
177
+ {"id": "176", "answer": "['17 июля', '18 июля']"}
178
+ {"id": "177", "answer": "['Леонид Слуцкий', 'Артем Дзюба']"}
179
+ {"id": "178", "answer": "['Okko', 'Лента.ру', 'Rambler&Co']"}
180
+ {"id": "179", "answer": "['Игорь Картавых', 'Евгений Белоусов']"}
181
+ {"id": "180", "answer": "['Возобновление трехсторонних переговоров', 'Немедленное прекращение огня на Украине']"}
182
+ {"id": "181", "answer": "['Пермь', 'Омск']"}
183
+ {"id": "182", "answer": "['Ирина Романова', 'Феодор Кирсанов', 'Максим Лагашкин', 'Дмитрий Кондратков', 'Виолетта Антонова', 'Вероника Тимофеева', 'Денис Прытков']"}
184
+ {"id": "183", "answer": "['Поппи Гилберт', 'Барни Харрис', 'Гарри Тревалдуин', 'Хью Коулз', 'Дугрей Скотт', 'Кэтрин МакКормак']"}
185
+ {"id": "184", "answer": "['Гондомар', 'Пасуш де Феррейра']"}
186
+ {"id": "185", "answer": "['Юлия Александрова', 'Екатерина Вилкова', 'Равшана Куркова', 'Артем Ткаченко', 'Павел Деревянко']"}
187
+ {"id": "186", "answer": "['математика', 'русский язык']"}
188
+ {"id": "187", "answer": "['Т-Банк', 'ВТБ Онлайн', 'Mir Pay', 'Альфа-Банк', 'СберБанк Онлайн']"}
189
+ {"id": "188", "answer": "['Александра Панова', 'Го Ханьюй']"}
190
+ {"id": "189", "answer": "['Оливия Родриго', 'зарубежные музыканты']"}
191
+ {"id": "190", "answer": "['Emil and the Detectives', 'New York Rock & Roll Ensemble']"}
192
+ {"id": "191", "answer": "['Charli XCX', 'Post Malone']"}
193
+ {"id": "192", "answer": "['Дэвид Хейман', 'Эми Паскаль']"}
194
+ {"id": "193", "answer": "[18, 20]"}
195
+ {"id": "194", "answer": "['Пентагон', 'США']"}
196
+ {"id": "195", "answer": "['Открытие молодежных центров в шести российских регионах', 'Церемония открытия молодежных комплексов']"}
197
+ {"id": "196", "answer": "['Вождение автомобиля', 'Употребление алкоголя']"}
198
+ {"id": "197", "answer": "['Кендрик Ламар', 'Эминем']"}
199
+ {"id": "198", "answer": "['Алексей Кобелюк', 'Дмитрий Карташов', 'Маргарита Иванова-Донская', 'Надежда Саврасова', 'Евгения Жукова']"}
200
+ {"id": "199", "answer": "['Формула кино', 'Синема Парк']"}
201
+ {"id": "200", "answer": "['ДТП на МКАД', 'Массовое ДТП на юго-востоке Москвы']"}
202
+ {"id": "201", "answer": "['Сергей Цивилев', 'Татьяна Голикова', 'Сергей Кириенко']"}
203
+ {"id": "202", "answer": "['Подмосковье', 'Строящийся жилой комплекс «Спутник»']"}
204
+ {"id": "203", "answer": "['Мария Шарапова', 'Дэвид Бекхэм']"}
205
+ {"id": "204", "answer": "['Другой мир', 'Фантастическая четвёрка: восстание серебряного сёрфера', 'Части тела', 'Зачарованные', 'ФБР: самые разыскиваемые преступники']"}
206
+ {"id": "205", "answer": "['Лара Пулвер', 'Энсон Бун', 'Лиза Дван', 'Мандип Диллон', 'Джефф Белл', 'Жасмин Джобсон', 'Джоанн Фроггатт', 'Дэниэл Беттс', 'Эмили Барбер', 'Пэдди Консидайн']"}
207
+ {"id": "206", "answer": "['Тайны Смолвиля', 'Секретные материалы', 'Супруги Харт', 'Новобранцы', 'Тысячелетие', 'Династия', 'Сумеречная зона', 'Лодка любви', 'Говорящая с призраками', 'Холм одного дерева', 'Кэгни и Лэйси', 'Старски и Хатч']"}
208
+ {"id": "207", "answer": "['Элитная квартира', 'Сбережения', '200 миллионов рублей']"}
209
+ {"id": "208", "answer": "['Кендрик Ламар', 'Эминем']"}
210
+ {"id": "209", "answer": "['VS Code', 'GitFlame']"}
211
+ {"id": "210", "answer": "['Другой мир', 'Фантастическая четверка', 'Части тела', 'Уилл и Грейс', 'Домой и в путь', 'РЭД', 'Профайлер', 'Детективное агентство Дирка Джентли', 'Влажное и дикое лето!', 'Зачарованные', 'Предчувствие']"}
212
+ {"id": "211", "answer": "['Минобрнауки России', 'Константин Могилевский', 'Страны БРИКС']"}
213
+ {"id": "212", "answer": "['Ани Лорак', 'Владимир Быстров']"}
214
+ {"id": "213", "answer": "['Освободите Вилли', 'Уайатт Эрп', 'Однажды в… Голливуде', 'Омерзительная восьмерка', 'Тельма и Луиза', 'Бешеные псы', 'The Doors', 'За пределами закона', 'Донни Браско', 'Убить Билла']"}
215
+ {"id": "214", "answer": "['лишение родительских прав', 'взыскание алиментов']"}
216
+ {"id": "215", "answer": "['Метро', 'Общественный транспорт', 'Самокат']"}
217
+ {"id": "216", "answer": "['Александр Лачугин', 'Дядя Саша']"}
218
+ {"id": "217", "answer": "['песня «Зеленоглазое такси»', 'шляпа', 'усы']"}
219
+ {"id": "218", "answer": "['Дарья Мошинская', 'Анастасия Шмонина']"}
220
+ {"id": "219", "answer": "['Квентин Тарантино', 'Джон Малкович']"}
221
+ {"id": "220", "answer": "['Случаи плагиата', 'Циклические зависимости', 'Небезопасное хранение данных']"}
222
+ {"id": "221", "answer": "['Главный редактор', 'Исполнительный директор']"}
223
+ {"id": "222", "answer": "['Синема Парк', 'U Films']"}
224
+ {"id": "223", "answer": "['Аарон Тейлор-Джонсон', 'Генри Кавилл']"}
225
+ {"id": "224", "answer": "['сайт Стокманна', 'Москва', 'Петербург', 'приложение Стокманна']"}
226
+ {"id": "225", "answer": "['Том Холланд', 'Джейкоб Элорди', 'Харрис Дикинсон']"}
227
+ {"id": "226", "answer": "['Марио Провол', 'Ольга Лерман', 'Роман Курцын']"}
228
+ {"id": "227", "answer": "['Эмили Блант', 'Деми Мур', 'Рами Малек', 'Майли Сайрус', 'Тимоти Шаламе']"}
229
+ {"id": "228", "answer": "['Марина Александрова', 'Антон Васильев']"}
230
+ {"id": "229", "answer": "['Азербайджан', 'Минкульт Азербайджана']"}
231
+ {"id": "230", "answer": "['Авангард', 'ЦСКА']"}
232
+ {"id": "231", "answer": "['Майкл Сколник', 'Крис Парнелл', 'Уолтон Гоггинс', 'Шондрелла Эйвери', 'Рон Фанчес']"}
233
+ {"id": "232", "answer": "['Юра Борисов', 'Джереми Стронг']"}
234
+ {"id": "233", "answer": "['Яндекс Афиша', 'Медиагруппа «Красный квадрат»']"}
235
+ {"id": "234", "answer": "['1-е место в автомобильном зачете', '1-е место в категории «рейд спорт»']"}
236
+ {"id": "235", "answer": "['Гретхен Мол', 'Джереми Дэвидсон', 'Мэри Стюарт Мастерсон', 'Си Джей Уилсон', 'Кристен Фицджеральд']"}
237
+ {"id": "236", "answer": "['Владимир Путин', 'Дональд Трамп']"}
238
+ {"id": "237", "answer": "['ГАЗ', 'Solaris', 'УАЗ', 'Lada', 'Москвич 3']"}
239
+ {"id": "238", "answer": "['Москвич 3е', 'Амберавто А5', 'Voyah', 'Evolute']"}
240
+ {"id": "239", "answer": "['Changan Uni-S', 'Omoda C5']"}
241
+ {"id": "240", "answer": "['Solaris', 'GAC']"}
242
+ {"id": "241", "answer": "['вершина рейтинга самых богатых женщин России', '34-е место ср��ди 146 миллиардеров России']"}
243
+ {"id": "242", "answer": "['Gojira', 'Стивен Тайлер', \"Guns N' Roses\", 'Tool', 'Slayer', 'Metallica', 'Lamb of God', 'Korn']"}
244
+ {"id": "243", "answer": "['3-е место', '1-е место в общем зачете']"}
245
+ {"id": "244", "answer": "['Юлия Серина', 'Влад Соколовский', 'Игорь Жижикин', 'Эльдар Трамов', 'Александра Тулинова', 'Антонина Паперная', 'Екатерина Волкова', 'Лео Канделаки', 'Алика Смехова', 'Екатерина Шумакова']"}
246
+ {"id": "245", "answer": "['Качество кода', 'Продуктивность программистов']"}
247
+ {"id": "246", "answer": "['Одни из нас', 'Барбара Дагген', 'Акула-людоед', 'Эдем']"}
248
+ {"id": "247", "answer": "['Rexton', 'Korando', 'Torres', 'Tivoli']"}
249
+ {"id": "248", "answer": "['Чиветель Эджиофор', 'Маттиас Шонартс']"}
250
+ {"id": "249", "answer": "['Kia', 'Ford Focus']"}
251
+ {"id": "250", "answer": "['Ютубер', 'Телеведущий']"}
252
+ {"id": "251", "answer": "['Pentagon', 'США']"}
253
+ {"id": "252", "answer": "['Светлана Штеба', 'Елена Кондратьева', 'Илья Маланин']"}
254
+ {"id": "253", "answer": "['Тайвань', 'другие цели в Тихоокеанском регионе']"}
255
+ {"id": "254", "answer": "['Азербайджан', 'Стратегическое союзничество']"}
256
+ {"id": "255", "answer": "['Хироюки Икеучи', 'Юго Микава', 'Хаято Исомура', 'Кодзи Окура', 'Сакура Кирю', 'Аяка Миёси', 'Риса Судо', 'Кацуя Майгума', 'Акана Икеда']"}
257
+ {"id": "256", "answer": "['Фран Гарсия', 'Гонсало Гарсия', 'Килиан Мбаппе']"}
258
+ {"id": "257", "answer": "['Билли Айлиш', 'Кендрик Ламар']"}
259
+ {"id": "258", "answer": "['Дональд Трамп', 'Дана Уайт']"}
260
+ {"id": "259", "answer": "['Иэн Прауд', 'Александер Ламбсдорф']"}
261
+ {"id": "260", "answer": "['Алексей Хухрев', 'Врач из Кишинева']"}
262
+ {"id": "261", "answer": "['Дмитрий Быковский-Ромашов', 'Дмитрий Высоцкий', 'Валерий Соловьев', 'Алиса Боярская', 'Олег Куликович', 'Мария Цветкова-Овсянникова', 'Лия Медведева', 'Сергей Маковецкий', 'Юлия Зоркина']"}
263
+ {"id": "262", "answer": "['15-летний подросток из Китая', 'Го Ханьюй', 'Сюй Ифань', 'Ян Чжаосюань']"}
264
+ {"id": "263", "answer": "['Китай', 'Россия']"}
265
+ {"id": "264", "answer": "['Павел Мокеев', 'Александр Мироненко']"}
266
+ {"id": "265", "answer": "['Арина Бойко', 'Ксения Балюк']"}
267
+ {"id": "266", "answer": "['Александр Лачугин', 'Дядя Саша']"}
268
+ {"id": "267", "answer": "['Никита Ефремов', 'Карен Оганесян']"}
269
+ {"id": "268", "answer": "['Андрей Долгополов', 'Елена Шарапова']"}
270
+ {"id": "269", "answer": "['Ираклий Пирцхалава', 'Прохор Шаляпин']"}
271
+ {"id": "270", "answer": "['ROSSA GT', 'Marussia GT']"}
272
+ {"id": "271", "answer": "['36-летний москвич', 'Григорий Скворцов']"}
273
+ {"id": "272", "answer": "['GAC GS8', 'GAC', 'GAC GS3']"}
274
+ {"id": "273", "answer": "['Краснодарский край', 'Технопарк «АЭТЗ»']"}
275
+ {"id": "274", "answer": "['Александр Лачугин', 'Дядя Саша']"}
276
+ {"id": "275", "answer": "['Джереми Стронг', 'Джейсон Момоа', 'Дейв Батиста', 'Киран Калкин', 'Джиллиан Андерсон', 'Юра Борисов']"}
277
+ {"id": "276", "answer": "['Евгений Чичваркин', 'Азамат И.', 'Самвел Карапетян']"}
278
+ {"id": "277", "answer": "['Александра', 'Артем', 'Baby Melo']"}
279
+ {"id": "278", "answer": "['Джулиан Макмэхон', 'Юра Борисов']"}
280
+ {"id": "279", "answer": "['Леонид Слуцкий', 'Артем Дзюба']"}
281
+ {"id": "280", "answer": "['Виктор Добронравов', 'Александра Метелина']"}
282
+ {"id": "281", "answer": "['Алла Пугачёва', 'Надежда Кадышева']"}
283
+ {"id": "282", "answer": "['Станислав Григорьев', 'Владислав Тамошаускас']"}
284
+ {"id": "283", "answer": "['Александр Кириллов', 'гуру соблазнения']"}
285
+ {"id": "284", "answer": "['Джеймс Шутер', 'Любовь Тренина']"}
286
+ {"id": "285", "answer": "['Александр Лачугин', 'Дядя Саша']"}
287
+ {"id": "286", "answer": "['Александр Лачугин', 'Дядя Саша']"}
288
+ {"id": "287", "answer": "['The Doobie Brothers', 'The Pretenders']"}
289
+ {"id": "288", "answer": "['Антон Плетенев', 'Леонид Петров']"}
290
+ {"id": "289", "answer": "['Ferrari', 'Lamborghini Urus']"}
291
+ {"id": "290", "answer": "['Российские топ-менеджеры', 'Андрей Бадалов']"}
292
+ {"id": "291", "answer": "['Иэн Прауд', 'Карл III']"}
293
+ {"id": "292", "answer": "['Ян Топлес', 'Мелани Перкин']"}
294
+ {"id": "293", "answer": "['Maserati', 'Bentley Continental GT']"}
295
+ {"id": "294", "answer": "['Людмила Гурченко', 'Юрий Гагарин', 'Василий Лановой']"}
296
+ {"id": "295", "answer": "['Израиль', 'НАТО']"}
297
+ {"id": "296", "answer": "['YU7', 'Прототип китайского электрокара']"}
298
+ {"id": "297", "answer": "['Майкл Мэдсен', 'Хадсон Мэдсен']"}
299
+ {"id": "298", "answer": "['Майли Сайрус', 'Наоми Кэмпбелл']"}
300
+ {"id": "299", "answer": "['Электрические «Москвичи 3е»', 'Evolute']"}
301
+ {"id": "300", "answer": "Premier"}
302
+ {"id": "301", "answer": "Многоквартирный дом"}
303
+ {"id": "302", "answer": "Мари Краймбрери"}
304
+ {"id": "303", "answer": "Шишир Мехротра"}
305
+ {"id": "304", "answer": "Aydınlık"}
306
+ {"id": "305", "answer": "20 километров в час"}
307
+ {"id": "306", "answer": "20 километров в час"}
308
+ {"id": "307", "answer": "Под стык башни"}
309
+ {"id": "308", "answer": "призывы к канонизации Иоанна Павла II"}
310
+ {"id": "309", "answer": "Иоанн Павел II"}
311
+ {"id": "310", "answer": "Джереми Уолкер"}
312
+ {"id": "311", "answer": "Эскиль Фогт"}
313
+ {"id": "312", "answer": "Советская неоклассика"}
314
+ {"id": "313", "answer": "Никита Михалков"}
315
+ {"id": "314", "answer": "Башкирия"}
316
+ {"id": "315", "answer": "Отар Кушанашвили"}
317
+ {"id": "316", "answer": "Самора"}
318
+ {"id": "317", "answer": "Okko"}
319
+ {"id": "318", "answer": "антироссийская позиция"}
320
+ {"id": "319", "answer": "США и Европа"}
321
+ {"id": "320", "answer": "Corning Gorilla Glass 7i"}
322
+ {"id": "321", "answer": "Кэнто Каку"}
323
+ {"id": "322", "answer": "Ларри Шинода"}
324
+ {"id": "323", "answer": "Шишир Мехротра"}
325
+ {"id": "324", "answer": "18,5 млн рублей"}
326
+ {"id": "325", "answer": "Менее 50% эффективности рабочих-людей"}
327
+ {"id": "326", "answer": "Telegram-канал"}
328
+ {"id": "327", "answer": "2025.0"}
329
+ {"id": "328", "answer": "1-е место"}
330
+ {"id": "329", "answer": "Электрогидравлический эффект"}
331
+ {"id": "330", "answer": "Повышение безопасности и качества разработки программного обеспечения"}
332
+ {"id": "331", "answer": "Рубцовск"}
333
+ {"id": "332", "answer": "Premier"}
334
+ {"id": "333", "answer": "3320-3500 км"}
335
+ {"id": "334", "answer": "Простая обложка с текстом"}
336
+ {"id": "335", "answer": "Bad girl"}
337
+ {"id": "336", "answer": "Екатеринбург"}
338
+ {"id": "337", "answer": "Дортмундская Боруссия"}
339
+ {"id": "338", "answer": "Дирофиляриоз"}
340
+ {"id": "339", "answer": "Бо Бриджес"}
341
+ {"id": "340", "answer": "158 км"}
342
+ {"id": "341", "answer": "Дмитрий Юрков"}
343
+ {"id": "342", "answer": "Август"}
344
+ {"id": "343", "answer": "Многоквартирный дом"}
345
+ {"id": "344", "answer": "Польский киноинститут"}
346
+ {"id": "345", "answer": "4-е"}
347
+ {"id": "346", "answer": "Адриан Холовать"}
348
+ {"id": "347", "answer": "ДНР"}
349
+ {"id": "348", "answer": "Приложение для электронной почты"}
350
+ {"id": "349", "answer": "стратегическое союзничество"}
351
+ {"id": "350", "answer": "5000 лет"}
352
+ {"id": "351", "answer": "3320-3500 км"}
353
+ {"id": "352", "answer": "Региональный памятник"}
354
+ {"id": "353", "answer": "антироссийская позиция"}
355
+ {"id": "354", "answer": "4-е"}
356
+ {"id": "355", "answer": "Санаторий Минобороны в Крыму"}
357
+ {"id": "356", "answer": "Снятие блокады Ленинграда и 80-летие Победы в Великой Отечественной войне"}
358
+ {"id": "357", "answer": "разрушение сильно укрепленных подземных целей"}
359
+ {"id": "358", "answer": "28-29 июня"}
360
+ {"id": "359", "answer": "Убийцы цветочной луны"}
361
+ {"id": "360", "answer": "Леонардо Ди Каприо"}
362
+ {"id": "361", "answer": "Шарм-эш-Шейх"}
363
+ {"id": "362", "answer": "1-е"}
364
+ {"id": "363", "answer": "Тольятти"}
365
+ {"id": "364", "answer": "Бонелло"}
366
+ {"id": "365", "answer": "Уголовное дело о растрате или присвоении при ремонте здания на Тверском бульваре"}
367
+ {"id": "366", "answer": "Майли Сайрус"}
368
+ {"id": "367", "answer": "ФИФА"}
369
+ {"id": "368", "answer": "Арлан. Решающий раунд"}
370
+ {"id": "369", "answer": "Крис Аппельханс"}
371
+ {"id": "370", "answer": "3 499 000 рублей"}
372
+ {"id": "371", "answer": "Остин, Техас"}
373
+ {"id": "372", "answer": "Бруклин, Нью-Йорк"}
374
+ {"id": "373", "answer": "Дядя Саша"}
375
+ {"id": "374", "answer": "29.0"}
376
+ {"id": "375", "answer": "Мари Краймбрери"}
377
+ {"id": "376", "answer": "разрушение сильно укрепленных подземных целей"}
378
+ {"id": "377", "answer": "Кинофестиваль в Торонто"}
379
+ {"id": "378", "answer": "США и Индия"}
380
+ {"id": "379", "answer": "Рон Ховард"}
381
+ {"id": "380", "answer": "Honda"}
382
+ {"id": "381", "answer": "Русский язык"}
383
+ {"id": "382", "answer": "Санкт-Петербург"}
384
+ {"id": "383", "answer": "Четвертое место"}
385
+ {"id": "384", "answer": "32 минуты"}
386
+ {"id": "385", "answer": "более 1000"}
387
+ {"id": "386", "answer": "10.0"}
388
+ {"id": "387", "answer": "9.0"}
389
+ {"id": "388", "answer": "Азербайджан"}
390
+ {"id": "389", "answer": "GigaChat"}
391
+ {"id": "390", "answer": "Москва"}
392
+ {"id": "391", "answer": "Отар Кушанашвили"}
393
+ {"id": "392", "answer": "Миллиардные потери в обмен на потенциальные перспективы"}
394
+ {"id": "393", "answer": "Николай Наумов"}
395
+ {"id": "394", "answer": "Автомойка в Каменске-Уральском"}
396
+ {"id": "395", "answer": "Краснодар"}
397
+ {"id": "396", "answer": "1-е"}
398
+ {"id": "397", "answer": "37 километров"}
399
+ {"id": "398", "answer": "Виктор Дробыш"}
400
+ {"id": "399", "answer": "Сенегал"}
401
+ {"id": "400", "answer": "218 000 рублей"}
402
+ {"id": "401", "answer": "Дом"}
403
+ {"id": "402", "answer": "Дорожное радио"}
404
+ {"id": "403", "answer": "Дядя Саша"}
405
+ {"id": "404", "answer": "Фестиваль в Торонто"}
406
+ {"id": "405", "answer": "Филипп Киркоров"}
407
+ {"id": "406", "answer": "Карбид кремния"}
408
+ {"id": "407", "answer": "Фестиваль в Торонто"}
409
+ {"id": "408", "answer": "Grammarly"}
410
+ {"id": "409", "answer": "Исландия"}
411
+ {"id": "410", "answer": "24 часа"}
412
+ {"id": "411", "answer": "Жуковский"}
413
+ {"id": "412", "answer": "Аэродром имени Громова"}
414
+ {"id": "413", "answer": "Университет Иннополис"}
415
+ {"id": "414", "answer": "Sony Pictures Animations"}
416
+ {"id": "415", "answer": "Курск"}
417
+ {"id": "416", "answer": "Передний привод"}
418
+ {"id": "417", "answer": "Denver Fan Expo"}
419
+ {"id": "418", "answer": "Кроссовер"}
420
+ {"id": "419", "answer": "ПМЭФ-2025"}
421
+ {"id": "420", "answer": "Егор Чичканов"}
422
+ {"id": "421", "answer": "ПМЭФ-2025"}
423
+ {"id": "422", "answer": "Хакерская деятельность"}
424
+ {"id": "423", "answer": "Франция"}
425
+ {"id": "424", "answer": "Telegram-канал"}
426
+ {"id": "425", "answer": "Высшая школа музыки и искусств"}
427
+ {"id": "426", "answer": "Виттория Черетти"}
428
+ {"id": "427", "answer": "Обряды перехода"}
429
+ {"id": "428", "answer": "Отар Кушанашвили"}
430
+ {"id": "429", "answer": "электростеклоподъёмники, центральный замок, тонировка, улучшенная шумоизоляция"}
431
+ {"id": "430", "answer": "Виталий Гогунский"}
432
+ {"id": "431", "answer": "Екатеринбург"}
433
+ {"id": "432", "answer": "50/50"}
434
+ {"id": "433", "answer": "Агент МИ6"}
435
+ {"id": "434", "answer": "Кубка"}
436
+ {"id": "435", "answer": "Фестиваль в Торонто"}
437
+ {"id": "436", "answer": "2026.0"}
438
+ {"id": "437", "answer": "Крис Аппельханс"}
439
+ {"id": "438", "answer": "Фестиваль в Торонто"}
440
+ {"id": "439", "answer": "Австралийский"}
441
+ {"id": "440", "answer": "Александр Войтинский"}
442
+ {"id": "441", "answer": "Бразилия"}
443
+ {"id": "442", "answer": "208 мм"}
444
+ {"id": "443", "answer": "Клубный чемпионат мира по футболу"}
445
+ {"id": "444", "answer": "Полуфинал клубного чемпионата мира по футболу"}
446
+ {"id": "445", "answer": "Минобороны России"}
447
+ {"id": "446", "answer": "Okko"}
448
+ {"id": "447", "answer": "Model Y"}
449
+ {"id": "448", "answer": "Ксения Грин"}
450
+ {"id": "449", "answer": "сентябрь"}
451
+ {"id": "450", "answer": "Tesla"}
452
+ {"id": "451", "answer": "Евгений Кононов"}
453
+ {"id": "452", "answer": "Okko"}
454
+ {"id": "453", "answer": "Ольга Бузова"}
455
+ {"id": "454", "answer": "Дмитрий Песков"}
456
+ {"id": "455", "answer": "Дмитрий Пучков"}
457
+ {"id": "456", "answer": "Дмитрий Пучков"}
458
+ {"id": "457", "answer": "Okko"}
459
+ {"id": "458", "answer": "Cerabyte"}
460
+ {"id": "459", "answer": "Дональд Трамп"}
461
+ {"id": "460", "answer": "Евгений Кононов"}
462
+ {"id": "461", "answer": "Никита Васильев"}
463
+ {"id": "462", "answer": "Филипп Смирнов"}
464
+ {"id": "463", "answer": "Гаэтан Перрен"}
465
+ {"id": "464", "answer": "Apple"}
466
+ {"id": "465", "answer": "БРИКС"}
467
+ {"id": "466", "answer": "Евгения Гуцул"}
468
+ {"id": "467", "answer": "Евгения Гуцул"}
469
+ {"id": "468", "answer": "Харун Ахтар Хан"}
470
+ {"id": "469", "answer": "Хеликобактер пилори"}
471
+ {"id": "470", "answer": "Ускорительная масс-спектрометрия (УМС)"}
472
+ {"id": "471", "answer": "Боевики Вооруженных сил Украины (ВСУ)"}
473
+ {"id": "472", "answer": "Дирофиляриоз"}
474
+ {"id": "473", "answer": "Омед Афшар"}
475
+ {"id": "474", "answer": "Inspecto"}
476
+ {"id": "475", "answer": "Inspecto"}
477
+ {"id": "476", "answer": "Гарри и мебель-мутант середины века"}
478
+ {"id": "477", "answer": "IGG"}
479
+ {"id": "478", "answer": "Питер Фачинелли"}
480
+ {"id": "479", "answer": "Павел Попов"}
481
+ {"id": "480", "answer": "Павел Попов"}
482
+ {"id": "481", "answer": "Даниил Касаткин"}
483
+ {"id": "482", "answer": "Владимир Рогов"}
484
+ {"id": "483", "answer": "Дворец культуры им. Горбунова"}
485
+ {"id": "484", "answer": "Владимир Рогов"}
486
+ {"id": "485", "answer": "Отар Кушанашвили"}
487
+ {"id": "486", "answer": "Lada Niva"}
488
+ {"id": "487", "answer": "Светлана Бессараб"}
489
+ {"id": "488", "answer": "Fenomeno"}
490
+ {"id": "489", "answer": "Fenomeno"}
491
+ {"id": "490", "answer": "Украина"}
492
+ {"id": "491", "answer": "Пупо"}
493
+ {"id": "492", "answer": "Сон Ги-хун"}
494
+ {"id": "493", "answer": "Кит Келлог"}
495
+ {"id": "494", "answer": "Инес де Рамон"}
496
+ {"id": "495", "answer": "Santo Subito"}
497
+ {"id": "496", "answer": "Россия"}
498
+ {"id": "497", "answer": "Россия"}
499
+ {"id": "498", "answer": "Игорь Игнат"}
500
+ {"id": "499", "answer": "Алекс Лесли"}
501
+ {"id": "500", "answer": "Александр Коц"}
502
+ {"id": "501", "answer": "Марк Сноу"}
503
+ {"id": "502", "answer": "Азербайджан"}
504
+ {"id": "503", "answer": "Santo Subito"}
505
+ {"id": "504", "answer": "Telegram-канал"}
506
+ {"id": "505", "answer": "Илья Гладченко"}
507
+ {"id": "506", "answer": "Александра"}
508
+ {"id": "507", "answer": "50 Cent"}
509
+ {"id": "508", "answer": "Антон Алиханов"}
510
+ {"id": "509", "answer": "Израиль"}
511
+ {"id": "510", "answer": "Шарлиз Терон"}
512
+ {"id": "511", "answer": "Леонид Агутин"}
513
+ {"id": "512", "answer": "Алекс Лесли"}
514
+ {"id": "513", "answer": "Яна Гайдук"}
515
+ {"id": "514", "answer": "Zubr"}
516
+ {"id": "515", "answer": "Zubr"}
517
+ {"id": "516", "answer": "Игорь Петренко"}
518
+ {"id": "517", "answer": "Эминем"}
519
+ {"id": "518", "answer": "Пупо"}
520
+ {"id": "519", "answer": "Владимир Путин"}
521
+ {"id": "520", "answer": "Владимир Плякин"}
522
+ {"id": "521", "answer": "Пол Радд"}
523
+ {"id": "522", "answer": "США"}
524
+ {"id": "523", "answer": "Саудовская Аравия"}
525
+ {"id": "524", "answer": "Питер Фачинелли"}
526
+ {"id": "525", "answer": "Санкт-Петербург"}
527
+ {"id": "526", "answer": "Виттория Черетти"}
528
+ {"id": "527", "answer": "Владимир Тодоров"}
529
+ {"id": "528", "answer": "Владимир Тодоров"}
530
+ {"id": "529", "answer": "Владислав Иконников"}
531
+ {"id": "530", "answer": "Врач"}
532
+ {"id": "531", "answer": "Ада Роговцева"}
533
+ {"id": "532", "answer": "Виттория Черетти"}
534
+ {"id": "533", "answer": "Александр Прокопенко"}
535
+ {"id": "534", "answer": "Александр Лачугин"}
536
+ {"id": "535", "answer": "Андрей Белоусов"}
537
+ {"id": "536", "answer": "Арлан. Решающий раунд"}
538
+ {"id": "537", "answer": "Атакама"}
539
+ {"id": "538", "answer": "Афган Мюхтарли"}
540
+ {"id": "539", "answer": "Афган Мюхтарли"}
541
+ {"id": "540", "answer": "Майкл Мэдсен"}
542
+ {"id": "541", "answer": "Андрей Цыпер"}
543
+ {"id": "542", "answer": "Баку"}
544
+ {"id": "543", "answer": "Барак Обама"}
545
+ {"id": "544", "answer": "Барак Обама"}
546
+ {"id": "545", "answer": "Андрей Сафонов"}
547
+ {"id": "546", "answer": "Роман Старовойт"}
548
+ {"id": "547", "answer": "Александр Малов"}
549
+ {"id": "548", "answer": "Александра"}
550
+ {"id": "549", "answer": "Прохор Шаляпин"}
551
+ {"id": "550", "answer": "Александр Хинштейн"}
552
+ {"id": "551", "answer": "Прохор Шаляпин"}
553
+ {"id": "552", "answer": "Принц Фейсал бен Фархан Аль Сауд"}
554
+ {"id": "553", "answer": "Брэд Питт"}
555
+ {"id": "554", "answer": "Брэд Питт"}
556
+ {"id": "555", "answer": "Вадим Красносельский"}
557
+ {"id": "556", "answer": "Василий Нестеренко"}
558
+ {"id": "557", "answer": "Великобритания"}
559
+ {"id": "558", "answer": "Гарри и мебель-мутант середины века"}
560
+ {"id": "559", "answer": "холодная"}
561
+ {"id": "560", "answer": "Петроградский районный суд"}
562
+ {"id": "561", "answer": "Керамический накопитель с лазерной гравировкой"}
563
+ {"id": "562", "answer": "Никита Васильев"}
564
+ {"id": "563", "answer": "Звук"}
565
+ {"id": "564", "answer": "Игорь Петренко"}
566
+ {"id": "565", "answer": "Мордовия"}
567
+ {"id": "566", "answer": "Израиль"}
568
+ {"id": "567", "answer": "Михаил Подоляк"}
569
+ {"id": "568", "answer": "Ираклий Пирцхалава"}
570
+ {"id": "569", "answer": "Ираклий Пирцхалава"}
571
+ {"id": "570", "answer": "Италия"}
572
+ {"id": "571", "answer": "Иэн Прауд"}
573
+ {"id": "572", "answer": "Михаил Ефремов"}
574
+ {"id": "573", "answer": "Михаил Ефремов"}
575
+ {"id": "574", "answer": "Министерство промышленности и торговли"}
576
+ {"id": "575", "answer": "Министерство промышленности и торговли"}
577
+ {"id": "576", "answer": "Керамический накопитель с лазерной гравировкой"}
578
+ {"id": "577", "answer": "Перри Уондер"}
579
+ {"id": "578", "answer": "Керри Кинг"}
580
+ {"id": "579", "answer": "Клубный чемпионат мира по футболу"}
581
+ {"id": "580", "answer": "Клубный чемпионат мира по футболу"}
582
+ {"id": "581", "answer": "Кристина Орбакайте"}
583
+ {"id": "582", "answer": "Кристина Орбакайте"}
584
+ {"id": "583", "answer": "Кроссовер"}
585
+ {"id": "584", "answer": "Кроссовер"}
586
+ {"id": "585", "answer": "Марк Цукерберг"}
587
+ {"id": "586", "answer": "Марк Сноу"}
588
+ {"id": "587", "answer": "Кудрово"}
589
+ {"id": "588", "answer": "Маргарита Симоньян"}
590
+ {"id": "589", "answer": "Леонид Агутин"}
591
+ {"id": "590", "answer": "МОДКТОБ"}
592
+ {"id": "591", "answer": "Маджид аль-Ансари"}
593
+ {"id": "592", "answer": "Екатеринбург"}
594
+ {"id": "593", "answer": "Нил Дракманн"}
595
+ {"id": "594", "answer": "Нил Дракманн"}
596
+ {"id": "595", "answer": "Евгений Чичваркин"}
597
+ {"id": "596", "answer": "Педро Антонио (Тони) Родригес"}
598
+ {"id": "597", "answer": "Педро Антонио (Тони) Родригес"}
599
+ {"id": "598", "answer": "Горбушка"}
600
+ {"id": "599", "answer": "Гунни"}
leaderboard.csv ADDED
@@ -0,0 +1,17 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ timestamp,username,team,commit,Answer not accepted,Some truth,Accepted answer,valid_doc_ratio,n
2
+ 2025-11-23 13:51:15,шл,,,600,0,0,0.0,600
3
+ 2025-11-23 13:53:51,шл,,,600,0,0,0.0,600
4
+ 2025-11-23 13:56:11,er,,,600,0,0,0.0,600
5
+ 2025-11-23 14:01:42,qw,,,600,0,0,0.0,600
6
+ 2025-11-23 14:05:25,9,,,600,0,0,0.0,600
7
+ 2025-11-23 14:11:00,frrr,,,600,0,0,0.0,600
8
+ 2025-11-23 14:12:29,za,,,600,0,0,0.0,600
9
+ 2025-11-23 14:16:41,oi,,,600,0,0,0.0,600
10
+ 2025-11-23 14:17:30,q,,,600,0,0,0.0,600
11
+ 2025-11-23 14:42:05,89,,,0,0,600,0.0,600
12
+ 2025-11-26 08:46:57,van,,,5,0,0,0.0,5
13
+ 2025-11-26 08:50:50,van,,,5,0,0,0.0,5
14
+ 2025-11-26 09:02:28,van,,,0,0,5,0.0,5
15
+ 2025-11-26 09:04:52,van,,,0,0,5,0.0,5
16
+ 2025-11-26 09:05:27,van2,,,5,0,0,0.0,5
17
+ 2025-11-26 09:06:16,van3,,,0,0,5,0.0,5
requirements.txt CHANGED
@@ -1,16 +1,7 @@
1
- APScheduler
2
- black
3
- datasets
4
- gradio
5
- gradio[oauth]
6
- gradio_leaderboard==0.0.13
7
- gradio_client
8
- huggingface-hub>=0.18.0
9
- matplotlib
10
- numpy
11
  pandas
12
- python-dateutil
13
- tqdm
14
- transformers
15
- tokenizers>=0.15.0
16
- sentencepiece
 
1
+ openai>=1.40.0
 
 
 
 
 
 
 
 
 
2
  pandas
3
+ requests
4
+ aiofiles
5
+ gradio
6
+ apscheduler
7
+ gradio-leaderboard
secret/.DS_Store ADDED
Binary file (6.15 kB). View file
 
secret/5/answers_gold.jsonl ADDED
@@ -0,0 +1,5 @@
 
 
 
 
 
 
1
+ {"id": "0", "gold_answer": "-61,3 процента"}
2
+ {"id": "1", "gold_answer": "1980.0"}
3
+ {"id": "2", "gold_answer": "продолжительная болезнь"}
4
+ {"id": "3", "gold_answer": "Практически на 100 процентов"}
5
+ {"id": "4", "gold_answer": "Русский язык и литература"}
secret/600/.DS_Store ADDED
Binary file (6.15 kB). View file
 
secret/600/answers_gold.jsonl ADDED
@@ -0,0 +1,600 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ {"id": "0", "gold_answer": "-61,3 процента"}
2
+ {"id": "1", "gold_answer": "1980.0"}
3
+ {"id": "2", "gold_answer": "продолжительная болезнь"}
4
+ {"id": "3", "gold_answer": "Практически на 100 процентов"}
5
+ {"id": "4", "gold_answer": "Русский язык и литература"}
6
+ {"id": "5", "gold_answer": "-36,6 процента"}
7
+ {"id": "6", "gold_answer": "Александр Коц"}
8
+ {"id": "7", "gold_answer": "Александр Хинштейн"}
9
+ {"id": "8", "gold_answer": "Часть 3 статья 286 УК РФ"}
10
+ {"id": "9", "gold_answer": "ФГБУ Сакский военный клинический санаторий имени Пирогова"}
11
+ {"id": "10", "gold_answer": "Одобрения типа транспортного средства (ОТТС)"}
12
+ {"id": "11", "gold_answer": "Болонья"}
13
+ {"id": "12", "gold_answer": "Автомойка в Каменске-Уральском"}
14
+ {"id": "13", "gold_answer": "2,6%"}
15
+ {"id": "14", "gold_answer": "Zubr"}
16
+ {"id": "15", "gold_answer": "Филипп Киркоров"}
17
+ {"id": "16", "gold_answer": "Овальный кабинет"}
18
+ {"id": "17", "gold_answer": "Lamborghini Urus второго поколения будет гибридом"}
19
+ {"id": "18", "gold_answer": "+55,9 процента"}
20
+ {"id": "19", "gold_answer": "Вальс-бостон"}
21
+ {"id": "20", "gold_answer": "решение проблемы 'последней мили'"}
22
+ {"id": "21", "gold_answer": "Штурмовая рота"}
23
+ {"id": "22", "gold_answer": "Лучший режиссер пилота сериала"}
24
+ {"id": "23", "gold_answer": "3%"}
25
+ {"id": "24", "gold_answer": "Денис Мантуров"}
26
+ {"id": "25", "gold_answer": "Специальную военную операцию (СВО)"}
27
+ {"id": "26", "gold_answer": "1960.0"}
28
+ {"id": "27", "gold_answer": "Брэд Питт"}
29
+ {"id": "28", "gold_answer": "Росатом композитные технологии"}
30
+ {"id": "29", "gold_answer": "Renault"}
31
+ {"id": "30", "gold_answer": "Профессиональный фиксер"}
32
+ {"id": "31", "gold_answer": "Мать"}
33
+ {"id": "32", "gold_answer": "Мэр"}
34
+ {"id": "33", "gold_answer": "Пэдди Консидайн"}
35
+ {"id": "34", "gold_answer": "Филипп Киркоров"}
36
+ {"id": "35", "gold_answer": "Исправительная колония общего режима"}
37
+ {"id": "36", "gold_answer": "Радиотелеграфист"}
38
+ {"id": "37", "gold_answer": "Израиль"}
39
+ {"id": "38", "gold_answer": "Британец"}
40
+ {"id": "39", "gold_answer": "Acura NSX"}
41
+ {"id": "40", "gold_answer": "Мои дорогие тиктокнутые огузки"}
42
+ {"id": "41", "gold_answer": "-34,8 процента"}
43
+ {"id": "42", "gold_answer": "Кубка"}
44
+ {"id": "43", "gold_answer": "Домашний арест"}
45
+ {"id": "44", "gold_answer": "Роман Пономаренко"}
46
+ {"id": "45", "gold_answer": "покушение на суверенитет и территориальную целостность Украины"}
47
+ {"id": "46", "gold_answer": "Владимир Кехман"}
48
+ {"id": "47", "gold_answer": "США"}
49
+ {"id": "48", "gold_answer": "Переговоры в Стамбуле"}
50
+ {"id": "49", "gold_answer": "Остановить ядерную программу Ирана"}
51
+ {"id": "50", "gold_answer": "Ural Motorsport"}
52
+ {"id": "51", "gold_answer": "Мистер Блондин в Бешеных псах"}
53
+ {"id": "52", "gold_answer": "Пермь"}
54
+ {"id": "53", "gold_answer": "Президент США"}
55
+ {"id": "54", "gold_answer": "Кит Келлог"}
56
+ {"id": "55", "gold_answer": "5,4%"}
57
+ {"id": "56", "gold_answer": "Кубат Шамшиев"}
58
+ {"id": "57", "gold_answer": "настороженно"}
59
+ {"id": "58", "gold_answer": "Балтика"}
60
+ {"id": "59", "gold_answer": "Рюдзи"}
61
+ {"id": "60", "gold_answer": "ChatGPT"}
62
+ {"id": "61", "gold_answer": "Роботизированный грузовик на базе Shacman X6000"}
63
+ {"id": "62", "gold_answer": "призывы к канонизации Иоанна Павла II"}
64
+ {"id": "63", "gold_answer": "Исландия"}
65
+ {"id": "64", "gold_answer": "Террористический акт"}
66
+ {"id": "65", "gold_answer": "Антон Алиханов"}
67
+ {"id": "66", "gold_answer": "Профессиональный игрок"}
68
+ {"id": "67", "gold_answer": "Ligier JS53"}
69
+ {"id": "68", "gold_answer": "Алекс Лесли"}
70
+ {"id": "69", "gold_answer": "КНДР"}
71
+ {"id": "70", "gold_answer": "21 год"}
72
+ {"id": "71", "gold_answer": "Инга Ибсдоттер Лиллеос"}
73
+ {"id": "72", "gold_answer": "Александр Лукашенко"}
74
+ {"id": "73", "gold_answer": "-48,4 процента"}
75
+ {"id": "74", "gold_answer": "6,2 тысячи автомобилей"}
76
+ {"id": "75", "gold_answer": "Premier"}
77
+ {"id": "76", "gold_answer": "2 тысячи автомобилей"}
78
+ {"id": "77", "gold_answer": "2,2%"}
79
+ {"id": "78", "gold_answer": "Aydınlık"}
80
+ {"id": "79", "gold_answer": "Дед-паук"}
81
+ {"id": "80", "gold_answer": "14 августа"}
82
+ {"id": "81", "gold_answer": "Неисправность двигателя"}
83
+ {"id": "82", "gold_answer": "Alma"}
84
+ {"id": "83", "gold_answer": "сдачи банковских карт в аренду"}
85
+ {"id": "84", "gold_answer": "Харун Ахтар Хан"}
86
+ {"id": "85", "gold_answer": "RuStore"}
87
+ {"id": "86", "gold_answer": "Владимир Путин"}
88
+ {"id": "87", "gold_answer": "Grammarly"}
89
+ {"id": "88", "gold_answer": "Парень с нашего кладбища"}
90
+ {"id": "89", "gold_answer": "2-е место"}
91
+ {"id": "90", "gold_answer": "Patriot"}
92
+ {"id": "91", "gold_answer": "Данные о техническом обслуживании автомобилей Lada"}
93
+ {"id": "92", "gold_answer": "1,9 тысячи автомобилей"}
94
+ {"id": "93", "gold_answer": "Условно-досрочное освобождение"}
95
+ {"id": "94", "gold_answer": "16 лет лишения свободы"}
96
+ {"id": "95", "gold_answer": "Лучший актер пилота сериала"}
97
+ {"id": "96", "gold_answer": "Социальная сеть X"}
98
+ {"id": "97", "gold_answer": "Оксана Сташенко"}
99
+ {"id": "98", "gold_answer": "Польский киноинститут"}
100
+ {"id": "99", "gold_answer": "Уголовное дело о растрате или присвоении при ремонте здания театра на Тверском бульваре"}
101
+ {"id": "100", "gold_answer": "Четыре"}
102
+ {"id": "101", "gold_answer": "Флебология и сердечно-сосудистая хирургия"}
103
+ {"id": "102", "gold_answer": "Рак"}
104
+ {"id": "103", "gold_answer": "Станислав Розанов"}
105
+ {"id": "104", "gold_answer": "Даниил Касаткин"}
106
+ {"id": "105", "gold_answer": "Эллен Перес"}
107
+ {"id": "106", "gold_answer": "Индастриал"}
108
+ {"id": "107", "gold_answer": "США, Европа, Китай"}
109
+ {"id": "108", "gold_answer": "отец-одиночка"}
110
+ {"id": "109", "gold_answer": "30 тысяч рублей"}
111
+ {"id": "110", "gold_answer": "Ноэл"}
112
+ {"id": "111", "gold_answer": "7000.0"}
113
+ {"id": "112", "gold_answer": "Выиграть трофей с командой"}
114
+ {"id": "113", "gold_answer": "9 лет тюрьмы"}
115
+ {"id": "114", "gold_answer": "До 15 лет"}
116
+ {"id": "115", "gold_answer": "ГАЗ Рейд Спорт"}
117
+ {"id": "116", "gold_answer": "Плюс 16-18 градусов"}
118
+ {"id": "117", "gold_answer": "Ростов-на-Дону"}
119
+ {"id": "118", "gold_answer": "Владимир Зеленский"}
120
+ {"id": "119", "gold_answer": "Chery"}
121
+ {"id": "120", "gold_answer": "Авария с бензовозом"}
122
+ {"id": "121", "gold_answer": "Общее отделение"}
123
+ {"id": "122", "gold_answer": "1 218"}
124
+ {"id": "123", "gold_answer": "Vesta"}
125
+ {"id": "124", "gold_answer": "перемещаться во времени"}
126
+ {"id": "125", "gold_answer": "Протезист"}
127
+ {"id": "126", "gold_answer": "38.0"}
128
+ {"id": "127", "gold_answer": "Масуд Пезешкиан"}
129
+ {"id": "128", "gold_answer": "не продается"}
130
+ {"id": "129", "gold_answer": "перевалочная база для поставки сборочных компонентов на российский рынок"}
131
+ {"id": "130", "gold_answer": "люди лгут о себе в описании"}
132
+ {"id": "131", "gold_answer": "фестивали, концерты, спектакли и выставки"}
133
+ {"id": "132", "gold_answer": "при появлении российских аналогов или возобновлении прямых поставок"}
134
+ {"id": "133", "gold_answer": "Сэкономить"}
135
+ {"id": "134", "gold_answer": "Запрет на въезд в Латвию"}
136
+ {"id": "135", "gold_answer": "Ослабление санкционного давления со стороны Запада в отношении России может стать стимулом для скорейшего разрешения конфликта на Украине"}
137
+ {"id": "136", "gold_answer": "Разработчик видеоигр"}
138
+ {"id": "137", "gold_answer": "8,9 тысячи автомобилей"}
139
+ {"id": "138", "gold_answer": "Коул Тернер"}
140
+ {"id": "139", "gold_answer": "Дом Костерина"}
141
+ {"id": "140", "gold_answer": "Парфюмерия"}
142
+ {"id": "141", "gold_answer": "отказалась комментировать"}
143
+ {"id": "142", "gold_answer": "Маргарита Симоньян"}
144
+ {"id": "143", "gold_answer": "Виттория Черетти"}
145
+ {"id": "144", "gold_answer": "1,3 миллиона машин"}
146
+ {"id": "145", "gold_answer": "AKoin"}
147
+ {"id": "146", "gold_answer": "автомат Калашникова"}
148
+ {"id": "147", "gold_answer": "Премьер-министр Австралии"}
149
+ {"id": "148", "gold_answer": "Федор Степанов"}
150
+ {"id": "149", "gold_answer": "40%"}
151
+ {"id": "150", "gold_answer": "['Volkswagen', 'Omoda', 'Jaecoo', 'Chery', 'BMW', 'Land Rover', 'Exeed', 'Audi']"}
152
+ {"id": "151", "gold_answer": "['Renault 12', 'Fiat-124']"}
153
+ {"id": "152", "gold_answer": "['откладывание покупок со стороны россиян', 'рост ставок по автокредитам']"}
154
+ {"id": "153", "gold_answer": "['Business', 'Comfort']"}
155
+ {"id": "154", "gold_answer": "['Александр Лачугин', 'Дядя Саша']"}
156
+ {"id": "155", "gold_answer": "['Фотоагентство', 'Группа Jagath']"}
157
+ {"id": "156", "gold_answer": "['Препрег-СКМ', 'Би Питрон']"}
158
+ {"id": "157", "gold_answer": "['17 июля', '18 июля']"}
159
+ {"id": "158", "gold_answer": "['Остановка строительных работ', 'Нехватка финансирования']"}
160
+ {"id": "159", "gold_answer": "['Сергей Узельман', 'Денис Шейн-Митрофанов', 'Александр Малов', 'Руслан Авзалов', 'Артем Тумак', 'Алексей Безденежных']"}
161
+ {"id": "160", "gold_answer": "['Дмитрий Минаев', 'Сергей Минаев']"}
162
+ {"id": "161", "gold_answer": "['Balchug Racing', 'SVL Racing']"}
163
+ {"id": "162", "gold_answer": "['Ноктюрама', 'Предчувствие']"}
164
+ {"id": "163", "gold_answer": "['Светлана Штеба', 'Елена Кондратьева', 'Илья Маланин']"}
165
+ {"id": "164", "gold_answer": "['Две квартиры в элитном ЖК «Четыре ветра»', 'Трехэтажный дом в Бережках', 'Две квартиры на 1-й Тверской-Ямской улице']"}
166
+ {"id": "165", "gold_answer": "['Владимир Путин', 'Дональд Трамп']"}
167
+ {"id": "166", "gold_answer": "['JavaScript', 'Go', 'Docker', 'Python', 'TypeScript']"}
168
+ {"id": "167", "gold_answer": "['Start', 'Иви']"}
169
+ {"id": "168", "gold_answer": "['Ванесса Кирби', 'Сидни Суини', 'Даниэль Брюль', 'Ана де Армас', 'Джуд Лоу']"}
170
+ {"id": "169", "gold_answer": "['Венгрия', 'Словакия']"}
171
+ {"id": "170", "gold_answer": "['Про уродов и людей', 'Брат 2', 'Жмурки', 'Брат', 'Груз 200']"}
172
+ {"id": "171", "gold_answer": "['Ванесса Кирби', 'Сидни Суини', 'Даниэль Брюль', 'Ана де Армас', 'Джуд Лоу']"}
173
+ {"id": "172", "gold_answer": "['Павел Мамаев', 'Александр Кокорин']"}
174
+ {"id": "173", "gold_answer": "['Eagle Award', 'Inkpot Award']"}
175
+ {"id": "174", "gold_answer": "['Севск', 'Брянская область']"}
176
+ {"id": "175", "gold_answer": "['Charli XCX', 'Post Malone']"}
177
+ {"id": "176", "gold_answer": "['17 июля', '18 июля']"}
178
+ {"id": "177", "gold_answer": "['Леонид Слуцкий', 'Артем Дзюба']"}
179
+ {"id": "178", "gold_answer": "['Okko', 'Лента.ру', 'Rambler&Co']"}
180
+ {"id": "179", "gold_answer": "['Игорь Картавых', 'Евгений Белоусов']"}
181
+ {"id": "180", "gold_answer": "['Возобновление трехсторонних переговоров', 'Немедленное прекращение огня на Украине']"}
182
+ {"id": "181", "gold_answer": "['Пермь', 'Омск']"}
183
+ {"id": "182", "gold_answer": "['Ирина Романова', 'Феодор Кирсанов', 'Максим Лагашкин', 'Дмитрий Кондратков', 'Виолетта Антонова', 'Вероника Тимофеева', 'Денис Прытков']"}
184
+ {"id": "183", "gold_answer": "['Поппи Гилберт', 'Барни Харрис', 'Гарри Тревалдуин', 'Хью Коулз', 'Дугрей Скотт', 'Кэтрин МакКормак']"}
185
+ {"id": "184", "gold_answer": "['Гондомар', 'Пасуш де Феррейра']"}
186
+ {"id": "185", "gold_answer": "['Юлия Александрова', 'Екатерина Вилкова', 'Равшана Куркова', 'Артем Ткаченко', 'Павел Деревянко']"}
187
+ {"id": "186", "gold_answer": "['математика', 'русский язык']"}
188
+ {"id": "187", "gold_answer": "['Т-Банк', 'ВТБ Онлайн', 'Mir Pay', 'Альфа-Банк', 'СберБанк Онлайн']"}
189
+ {"id": "188", "gold_answer": "['Александра Панова', 'Го Ханьюй']"}
190
+ {"id": "189", "gold_answer": "['Оливия Родриго', 'зарубежные музыканты']"}
191
+ {"id": "190", "gold_answer": "['Emil and the Detectives', 'New York Rock & Roll Ensemble']"}
192
+ {"id": "191", "gold_answer": "['Charli XCX', 'Post Malone']"}
193
+ {"id": "192", "gold_answer": "['Дэвид Хейман', 'Эми Паскаль']"}
194
+ {"id": "193", "gold_answer": "[18, 20]"}
195
+ {"id": "194", "gold_answer": "['Пентагон', 'США']"}
196
+ {"id": "195", "gold_answer": "['Открытие молодежных центров в шести российских регионах', 'Церемония открытия молодежных комплексов']"}
197
+ {"id": "196", "gold_answer": "['Вождение автомобиля', 'Употребление алкоголя']"}
198
+ {"id": "197", "gold_answer": "['Кендрик Ламар', 'Эминем']"}
199
+ {"id": "198", "gold_answer": "['Алексей Кобелюк', 'Дмитрий Карташов', 'Маргарита Иванова-Донская', 'Надежда Саврасова', 'Евгения Жукова']"}
200
+ {"id": "199", "gold_answer": "['Формула кино', 'Синема Парк']"}
201
+ {"id": "200", "gold_answer": "['ДТП на МКАД', 'Массовое ДТП на юго-востоке Москвы']"}
202
+ {"id": "201", "gold_answer": "['Сергей Цивилев', 'Татьяна Голикова', 'Сергей Кириенко']"}
203
+ {"id": "202", "gold_answer": "['Подмосковье', 'Строящийся жилой комплекс «Спутник»']"}
204
+ {"id": "203", "gold_answer": "['Мария Шарапова', 'Дэвид Бекхэм']"}
205
+ {"id": "204", "gold_answer": "['Другой мир', 'Фантастическая четвёрка: восстание серебряного сёрфера', 'Части тела', 'Зачарованные', 'ФБР: самые разыскиваемые преступники']"}
206
+ {"id": "205", "gold_answer": "['Лара Пулвер', 'Энсон Бун', 'Лиза Дван', 'Мандип Диллон', 'Джефф Белл', 'Жасмин Джобсон', 'Джоанн Фроггатт', 'Дэниэл Беттс', 'Эмили Барбер', 'Пэдди Консидайн']"}
207
+ {"id": "206", "gold_answer": "['Тайны Смолвиля', 'Секретные материалы', 'Супруги Харт', 'Новобранцы', 'Тысячелетие', 'Династия', 'Сумеречная зона', 'Лодка любви', 'Говорящая с призраками', 'Холм одного дерева', 'Кэгни и Лэйси', 'Старски и Хатч']"}
208
+ {"id": "207", "gold_answer": "['Элитная квартира', 'Сбережения', '200 миллионов рублей']"}
209
+ {"id": "208", "gold_answer": "['Кендрик Ламар', 'Эминем']"}
210
+ {"id": "209", "gold_answer": "['VS Code', 'GitFlame']"}
211
+ {"id": "210", "gold_answer": "['Другой мир', 'Фантастическая четверка', 'Части тела', 'Уилл и Грейс', 'Домой и в путь', 'РЭД', 'Профайлер', 'Детективное агентство Дирка Джентли', 'Влажное и дикое лето!', 'Зачарованные', 'Предчувствие']"}
212
+ {"id": "211", "gold_answer": "['Минобрнауки России', 'Константин Могилевский', 'Страны БРИКС']"}
213
+ {"id": "212", "gold_answer": "['Ани Лорак', 'Владимир Быстров']"}
214
+ {"id": "213", "gold_answer": "['Освободите Вилли', 'Уайатт Эрп', 'Однажды в… Голливуде', 'Омерзительная восьмерка', 'Тельма и Луиза', 'Бешеные псы', 'The Doors', 'За пределами закона', 'Донни Браско', 'Убить Билла']"}
215
+ {"id": "214", "gold_answer": "['лишение родительских прав', 'взыскание алиментов']"}
216
+ {"id": "215", "gold_answer": "['Метро', 'Общественный транспорт', 'Самокат']"}
217
+ {"id": "216", "gold_answer": "['Александр Лачугин', 'Дядя Саша']"}
218
+ {"id": "217", "gold_answer": "['песня «Зеленоглазое такси»', 'шляпа', 'усы']"}
219
+ {"id": "218", "gold_answer": "['Дарья Мошинская', 'Анастасия Шмонина']"}
220
+ {"id": "219", "gold_answer": "['Квентин Тарантино', 'Джон Малкович']"}
221
+ {"id": "220", "gold_answer": "['Случаи плагиата', 'Циклические зависимости', 'Небезопасное хранение данных']"}
222
+ {"id": "221", "gold_answer": "['Главный редактор', 'Исполнительный директор']"}
223
+ {"id": "222", "gold_answer": "['Синема Парк', 'U Films']"}
224
+ {"id": "223", "gold_answer": "['Аарон Тейлор-Джонсон', 'Генри Кавилл']"}
225
+ {"id": "224", "gold_answer": "['сайт Стокманна', 'Москва', 'Петербург', 'приложение Стокманна']"}
226
+ {"id": "225", "gold_answer": "['Том Холланд', 'Джейкоб Элорди', 'Харрис Дикинсон']"}
227
+ {"id": "226", "gold_answer": "['Марио Провол', 'Ольга Лерман', 'Роман Курцын']"}
228
+ {"id": "227", "gold_answer": "['Эмили Блант', 'Деми Мур', 'Рами Малек', 'Майли Сайрус', 'Тимоти Шаламе']"}
229
+ {"id": "228", "gold_answer": "['Марина Александрова', 'Антон Васильев']"}
230
+ {"id": "229", "gold_answer": "['Азербайджан', 'Минкульт Азербайджана']"}
231
+ {"id": "230", "gold_answer": "['Авангард', 'ЦСКА']"}
232
+ {"id": "231", "gold_answer": "['Майкл Сколник', 'Крис Парнелл', 'Уол��он Гоггинс', 'Шондрелла Эйвери', 'Рон Фанчес']"}
233
+ {"id": "232", "gold_answer": "['Юра Борисов', 'Джереми Стронг']"}
234
+ {"id": "233", "gold_answer": "['Яндекс Афиша', 'Медиагруппа «Красный квадрат»']"}
235
+ {"id": "234", "gold_answer": "['1-е место в автомобильном зачете', '1-е место в категории «рейд спорт»']"}
236
+ {"id": "235", "gold_answer": "['Гретхен Мол', 'Джереми Дэвидсон', 'Мэри Стюарт Мастерсон', 'Си Джей Уилсон', 'Кристен Фицджеральд']"}
237
+ {"id": "236", "gold_answer": "['Владимир Путин', 'Дональд Трамп']"}
238
+ {"id": "237", "gold_answer": "['ГАЗ', 'Solaris', 'УАЗ', 'Lada', 'Москвич 3']"}
239
+ {"id": "238", "gold_answer": "['Москвич 3е', 'Амберавто А5', 'Voyah', 'Evolute']"}
240
+ {"id": "239", "gold_answer": "['Changan Uni-S', 'Omoda C5']"}
241
+ {"id": "240", "gold_answer": "['Solaris', 'GAC']"}
242
+ {"id": "241", "gold_answer": "['вершина рейтинга самых богатых женщин России', '34-е место среди 146 миллиардеров России']"}
243
+ {"id": "242", "gold_answer": "['Gojira', 'Стивен Тайлер', \"Guns N' Roses\", 'Tool', 'Slayer', 'Metallica', 'Lamb of God', 'Korn']"}
244
+ {"id": "243", "gold_answer": "['3-е место', '1-е место в общем зачете']"}
245
+ {"id": "244", "gold_answer": "['Юлия Серина', 'Влад Соколовский', 'Игорь Жижикин', 'Эльдар Трамов', 'Александра Тулинова', 'Антонина Паперная', 'Екатерина Волкова', 'Лео Канделаки', 'Алика Смехова', 'Екатерина Шумакова']"}
246
+ {"id": "245", "gold_answer": "['Качество кода', 'Продуктивность программистов']"}
247
+ {"id": "246", "gold_answer": "['Одни из нас', 'Барбара Дагген', 'Акула-людоед', 'Эдем']"}
248
+ {"id": "247", "gold_answer": "['Rexton', 'Korando', 'Torres', 'Tivoli']"}
249
+ {"id": "248", "gold_answer": "['Чиветель Эджиофор', 'Маттиас Шонартс']"}
250
+ {"id": "249", "gold_answer": "['Kia', 'Ford Focus']"}
251
+ {"id": "250", "gold_answer": "['Ютубер', 'Телеведущий']"}
252
+ {"id": "251", "gold_answer": "['Pentagon', 'США']"}
253
+ {"id": "252", "gold_answer": "['Светлана Штеба', 'Елена Кондратьева', 'Илья Маланин']"}
254
+ {"id": "253", "gold_answer": "['Тайвань', 'другие цели в Тихоокеанском регионе']"}
255
+ {"id": "254", "gold_answer": "['Азербайджан', 'Стратегическое союзничество']"}
256
+ {"id": "255", "gold_answer": "['Хироюки Икеучи', 'Юго Микава', 'Хаято Исомура', 'Кодзи Окура', 'Сакура Кирю', 'Аяка Миёси', 'Риса Судо', 'Кацуя Майгума', 'Акана Икеда']"}
257
+ {"id": "256", "gold_answer": "['Фран Гарсия', 'Гонсало Гарсия', 'Килиан Мбаппе']"}
258
+ {"id": "257", "gold_answer": "['Билли Айлиш', 'Кендрик Ламар']"}
259
+ {"id": "258", "gold_answer": "['Дональд Трамп', 'Дана Уайт']"}
260
+ {"id": "259", "gold_answer": "['Иэн Прауд', 'Александер Ламбсдорф']"}
261
+ {"id": "260", "gold_answer": "['Алексей Хухрев', 'Врач из Кишинева']"}
262
+ {"id": "261", "gold_answer": "['Дмитрий Быковский-Ромашов', 'Дмитрий Высоцкий', 'Валерий Соловьев', 'Алиса Боярская', 'Олег Куликович', 'Мария Цветкова-Овсянникова', 'Лия Медведева', 'Сергей Маковецкий', 'Юлия Зоркина']"}
263
+ {"id": "262", "gold_answer": "['15-летний подросток из Китая', 'Го Ханьюй', 'Сюй Ифань', 'Ян Чжаосюань']"}
264
+ {"id": "263", "gold_answer": "['Китай', 'Россия']"}
265
+ {"id": "264", "gold_answer": "['Павел Мокеев', 'Александр Мироненко']"}
266
+ {"id": "265", "gold_answer": "['Арина Бойко', 'Ксения Балюк']"}
267
+ {"id": "266", "gold_answer": "['Александр Лачугин', 'Дядя Саша']"}
268
+ {"id": "267", "gold_answer": "['Никита Ефремов', 'Карен Оганесян']"}
269
+ {"id": "268", "gold_answer": "['Андрей Долгополов', 'Елена Шарапова']"}
270
+ {"id": "269", "gold_answer": "['Ираклий Пирцхалава', 'Прохор Шаляпин']"}
271
+ {"id": "270", "gold_answer": "['ROSSA GT', 'Marussia GT']"}
272
+ {"id": "271", "gold_answer": "['36-летний москвич', 'Григорий Скворцов']"}
273
+ {"id": "272", "gold_answer": "['GAC GS8', 'GAC', 'GAC GS3']"}
274
+ {"id": "273", "gold_answer": "['Краснодарский край', 'Технопарк «АЭТЗ»']"}
275
+ {"id": "274", "gold_answer": "['Александр Лачугин', 'Дядя Саша']"}
276
+ {"id": "275", "gold_answer": "['Джереми Стронг', 'Джейсон Момоа', 'Дейв Батиста', 'Киран Калкин', 'Джиллиан Андерсон', 'Юра Борисов']"}
277
+ {"id": "276", "gold_answer": "['Евгений Чичваркин', 'Азамат И.', 'Самвел Карапетян']"}
278
+ {"id": "277", "gold_answer": "['Александра', 'Артем', 'Baby Melo']"}
279
+ {"id": "278", "gold_answer": "['Джулиан Макмэхон', 'Юра Борисов']"}
280
+ {"id": "279", "gold_answer": "['Леонид Слуцкий', 'Артем Дзюба']"}
281
+ {"id": "280", "gold_answer": "['Виктор Добронравов', 'Александра Метелина']"}
282
+ {"id": "281", "gold_answer": "['Алла Пугачёва', 'Надежда Кадышева']"}
283
+ {"id": "282", "gold_answer": "['Станислав Григорьев', 'Владислав Тамошаускас']"}
284
+ {"id": "283", "gold_answer": "['Александр Кириллов', 'гуру соблазнения']"}
285
+ {"id": "284", "gold_answer": "['Джеймс Шутер', 'Любовь Тренина']"}
286
+ {"id": "285", "gold_answer": "['Александр Лачугин', 'Дядя Саша']"}
287
+ {"id": "286", "gold_answer": "['Александр Лачугин', 'Дядя Саша']"}
288
+ {"id": "287", "gold_answer": "['The Doobie Brothers', 'The Pretenders']"}
289
+ {"id": "288", "gold_answer": "['Антон Плетенев', 'Леонид Петров']"}
290
+ {"id": "289", "gold_answer": "['Ferrari', 'Lamborghini Urus']"}
291
+ {"id": "290", "gold_answer": "['Российские топ-менеджеры', 'Андрей Бадалов']"}
292
+ {"id": "291", "gold_answer": "['Иэн Прауд', 'Карл III']"}
293
+ {"id": "292", "gold_answer": "['Ян Топлес', 'Мелани Перкин']"}
294
+ {"id": "293", "gold_answer": "['Maserati', 'Bentley Continental GT']"}
295
+ {"id": "294", "gold_answer": "['Людмила Гурченко', 'Юрий Гагарин', 'Василий Лановой']"}
296
+ {"id": "295", "gold_answer": "['Израиль', 'НАТО']"}
297
+ {"id": "296", "gold_answer": "['YU7', 'Прототип китайского электрокара']"}
298
+ {"id": "297", "gold_answer": "['Майкл Мэдсен', 'Хадсон Мэдсен']"}
299
+ {"id": "298", "gold_answer": "['Майли Сайрус', 'Наоми Кэмпбелл']"}
300
+ {"id": "299", "gold_answer": "['Электрические «Москвичи 3е»', 'Evolute']"}
301
+ {"id": "300", "gold_answer": "Premier"}
302
+ {"id": "301", "gold_answer": "Многоквартирный дом"}
303
+ {"id": "302", "gold_answer": "Мари Краймбрери"}
304
+ {"id": "303", "gold_answer": "Шишир Мехротра"}
305
+ {"id": "304", "gold_answer": "Aydınlık"}
306
+ {"id": "305", "gold_answer": "20 километров в час"}
307
+ {"id": "306", "gold_answer": "20 километров в час"}
308
+ {"id": "307", "gold_answer": "Под стык башни"}
309
+ {"id": "308", "gold_answer": "призывы к канонизации Иоанна Павла II"}
310
+ {"id": "309", "gold_answer": "Иоанн Павел II"}
311
+ {"id": "310", "gold_answer": "Джереми Уолкер"}
312
+ {"id": "311", "gold_answer": "Эскиль Фогт"}
313
+ {"id": "312", "gold_answer": "Советская неоклассика"}
314
+ {"id": "313", "gold_answer": "Никита Михалков"}
315
+ {"id": "314", "gold_answer": "Башкирия"}
316
+ {"id": "315", "gold_answer": "Отар Кушанашвили"}
317
+ {"id": "316", "gold_answer": "Самора"}
318
+ {"id": "317", "gold_answer": "Okko"}
319
+ {"id": "318", "gold_answer": "антироссийская позиция"}
320
+ {"id": "319", "gold_answer": "США и Европа"}
321
+ {"id": "320", "gold_answer": "Corning Gorilla Glass 7i"}
322
+ {"id": "321", "gold_answer": "Кэнто Каку"}
323
+ {"id": "322", "gold_answer": "Ларри Шинода"}
324
+ {"id": "323", "gold_answer": "Шишир Мехротра"}
325
+ {"id": "324", "gold_answer": "18,5 млн рублей"}
326
+ {"id": "325", "gold_answer": "Менее 50% эффективности рабочих-людей"}
327
+ {"id": "326", "gold_answer": "Telegram-канал"}
328
+ {"id": "327", "gold_answer": "2025.0"}
329
+ {"id": "328", "gold_answer": "1-е место"}
330
+ {"id": "329", "gold_answer": "Электрогидравлический эффект"}
331
+ {"id": "330", "gold_answer": "Повышение безопасности и качества разработки программного обеспечения"}
332
+ {"id": "331", "gold_answer": "Рубцовск"}
333
+ {"id": "332", "gold_answer": "Premier"}
334
+ {"id": "333", "gold_answer": "3320-3500 км"}
335
+ {"id": "334", "gold_answer": "Простая обложка с текстом"}
336
+ {"id": "335", "gold_answer": "Bad girl"}
337
+ {"id": "336", "gold_answer": "Екатеринбург"}
338
+ {"id": "337", "gold_answer": "Дортмундская Боруссия"}
339
+ {"id": "338", "gold_answer": "Дирофиляриоз"}
340
+ {"id": "339", "gold_answer": "Бо Бриджес"}
341
+ {"id": "340", "gold_answer": "158 км"}
342
+ {"id": "341", "gold_answer": "Дмитрий Юрков"}
343
+ {"id": "342", "gold_answer": "Август"}
344
+ {"id": "343", "gold_answer": "Многоквартирный дом"}
345
+ {"id": "344", "gold_answer": "Польский киноинститут"}
346
+ {"id": "345", "gold_answer": "4-е"}
347
+ {"id": "346", "gold_answer": "Адриан Холовать"}
348
+ {"id": "347", "gold_answer": "ДНР"}
349
+ {"id": "348", "gold_answer": "Приложение для электронной почты"}
350
+ {"id": "349", "gold_answer": "стратегическое союзничество"}
351
+ {"id": "350", "gold_answer": "5000 лет"}
352
+ {"id": "351", "gold_answer": "3320-3500 км"}
353
+ {"id": "352", "gold_answer": "Региональный памятник"}
354
+ {"id": "353", "gold_answer": "антироссийская позиция"}
355
+ {"id": "354", "gold_answer": "4-е"}
356
+ {"id": "355", "gold_answer": "Санаторий Минобороны в Крыму"}
357
+ {"id": "356", "gold_answer": "Снятие блокады Ленинграда и 80-летие Победы в Великой Отечественной войне"}
358
+ {"id": "357", "gold_answer": "разрушение сильно укрепленных подземных целей"}
359
+ {"id": "358", "gold_answer": "28-29 июня"}
360
+ {"id": "359", "gold_answer": "Убийцы цветочной луны"}
361
+ {"id": "360", "gold_answer": "Леонардо Ди Каприо"}
362
+ {"id": "361", "gold_answer": "Шарм-эш-Шейх"}
363
+ {"id": "362", "gold_answer": "1-е"}
364
+ {"id": "363", "gold_answer": "Тольятти"}
365
+ {"id": "364", "gold_answer": "Бонелло"}
366
+ {"id": "365", "gold_answer": "Уголовное дело о растрате или присвоении при ремонте здания на Тверском бульваре"}
367
+ {"id": "366", "gold_answer": "Майли Сайрус"}
368
+ {"id": "367", "gold_answer": "ФИФА"}
369
+ {"id": "368", "gold_answer": "Арлан. Решающий раунд"}
370
+ {"id": "369", "gold_answer": "Крис Аппельханс"}
371
+ {"id": "370", "gold_answer": "3 499 000 рублей"}
372
+ {"id": "371", "gold_answer": "Остин, Техас"}
373
+ {"id": "372", "gold_answer": "Бруклин, Нью-Йорк"}
374
+ {"id": "373", "gold_answer": "Дядя Саша"}
375
+ {"id": "374", "gold_answer": "29.0"}
376
+ {"id": "375", "gold_answer": "Мари Краймбрери"}
377
+ {"id": "376", "gold_answer": "разрушение сильно укрепленных подземных целей"}
378
+ {"id": "377", "gold_answer": "Кинофестиваль в Торонто"}
379
+ {"id": "378", "gold_answer": "США и Индия"}
380
+ {"id": "379", "gold_answer": "Рон Ховард"}
381
+ {"id": "380", "gold_answer": "Honda"}
382
+ {"id": "381", "gold_answer": "Русский язык"}
383
+ {"id": "382", "gold_answer": "Санкт-Петербург"}
384
+ {"id": "383", "gold_answer": "Четвертое место"}
385
+ {"id": "384", "gold_answer": "32 минуты"}
386
+ {"id": "385", "gold_answer": "более 1000"}
387
+ {"id": "386", "gold_answer": "10.0"}
388
+ {"id": "387", "gold_answer": "9.0"}
389
+ {"id": "388", "gold_answer": "Азербайджан"}
390
+ {"id": "389", "gold_answer": "GigaChat"}
391
+ {"id": "390", "gold_answer": "Москва"}
392
+ {"id": "391", "gold_answer": "Отар Кушанашвили"}
393
+ {"id": "392", "gold_answer": "Миллиардные потери в обмен на потенциальные перспективы"}
394
+ {"id": "393", "gold_answer": "Николай Наумов"}
395
+ {"id": "394", "gold_answer": "Автомойка в Каменске-Уральском"}
396
+ {"id": "395", "gold_answer": "Краснодар"}
397
+ {"id": "396", "gold_answer": "1-е"}
398
+ {"id": "397", "gold_answer": "37 километров"}
399
+ {"id": "398", "gold_answer": "Виктор Дробыш"}
400
+ {"id": "399", "gold_answer": "Сенегал"}
401
+ {"id": "400", "gold_answer": "218 000 рублей"}
402
+ {"id": "401", "gold_answer": "Дом"}
403
+ {"id": "402", "gold_answer": "Дорожное радио"}
404
+ {"id": "403", "gold_answer": "Дядя Саша"}
405
+ {"id": "404", "gold_answer": "Фестиваль в Торонто"}
406
+ {"id": "405", "gold_answer": "Филипп Киркоров"}
407
+ {"id": "406", "gold_answer": "Карбид кремния"}
408
+ {"id": "407", "gold_answer": "Фестиваль в Торонто"}
409
+ {"id": "408", "gold_answer": "Grammarly"}
410
+ {"id": "409", "gold_answer": "Исландия"}
411
+ {"id": "410", "gold_answer": "24 часа"}
412
+ {"id": "411", "gold_answer": "Жуковский"}
413
+ {"id": "412", "gold_answer": "Аэродром имени Громова"}
414
+ {"id": "413", "gold_answer": "Университет Иннополис"}
415
+ {"id": "414", "gold_answer": "Sony Pictures Animations"}
416
+ {"id": "415", "gold_answer": "Курск"}
417
+ {"id": "416", "gold_answer": "Передний привод"}
418
+ {"id": "417", "gold_answer": "Denver Fan Expo"}
419
+ {"id": "418", "gold_answer": "Кроссовер"}
420
+ {"id": "419", "gold_answer": "ПМЭФ-2025"}
421
+ {"id": "420", "gold_answer": "Егор Чичканов"}
422
+ {"id": "421", "gold_answer": "ПМЭФ-2025"}
423
+ {"id": "422", "gold_answer": "Хакерская деятельность"}
424
+ {"id": "423", "gold_answer": "Франция"}
425
+ {"id": "424", "gold_answer": "Telegram-канал"}
426
+ {"id": "425", "gold_answer": "Высшая школа музыки и искусств"}
427
+ {"id": "426", "gold_answer": "Виттория Черетти"}
428
+ {"id": "427", "gold_answer": "Обряды перехода"}
429
+ {"id": "428", "gold_answer": "Отар Кушанашвили"}
430
+ {"id": "429", "gold_answer": "электростеклоподъёмники, центральный замок, тонировка, улучшенная шумоизоляция"}
431
+ {"id": "430", "gold_answer": "Виталий Гогунский"}
432
+ {"id": "431", "gold_answer": "Екатеринбург"}
433
+ {"id": "432", "gold_answer": "50/50"}
434
+ {"id": "433", "gold_answer": "Агент МИ6"}
435
+ {"id": "434", "gold_answer": "Кубка"}
436
+ {"id": "435", "gold_answer": "Фестиваль в Торонто"}
437
+ {"id": "436", "gold_answer": "2026.0"}
438
+ {"id": "437", "gold_answer": "Крис Аппельханс"}
439
+ {"id": "438", "gold_answer": "Фестиваль в Торонто"}
440
+ {"id": "439", "gold_answer": "Австралийский"}
441
+ {"id": "440", "gold_answer": "Александр Войтинский"}
442
+ {"id": "441", "gold_answer": "Бразилия"}
443
+ {"id": "442", "gold_answer": "208 мм"}
444
+ {"id": "443", "gold_answer": "Клубный чемпионат мира по футболу"}
445
+ {"id": "444", "gold_answer": "Полуфинал клубного чемпионата мира по футболу"}
446
+ {"id": "445", "gold_answer": "Минобороны России"}
447
+ {"id": "446", "gold_answer": "Okko"}
448
+ {"id": "447", "gold_answer": "Model Y"}
449
+ {"id": "448", "gold_answer": "Ксения Грин"}
450
+ {"id": "449", "gold_answer": "сентябрь"}
451
+ {"id": "450", "gold_answer": "Tesla"}
452
+ {"id": "451", "gold_answer": "Евгений Кононов"}
453
+ {"id": "452", "gold_answer": "Okko"}
454
+ {"id": "453", "gold_answer": "Ольга Бузова"}
455
+ {"id": "454", "gold_answer": "Дмитрий Песков"}
456
+ {"id": "455", "gold_answer": "Дмитрий Пучков"}
457
+ {"id": "456", "gold_answer": "Дмитрий Пучков"}
458
+ {"id": "457", "gold_answer": "Okko"}
459
+ {"id": "458", "gold_answer": "Cerabyte"}
460
+ {"id": "459", "gold_answer": "Дональд Трамп"}
461
+ {"id": "460", "gold_answer": "Евгений Кононов"}
462
+ {"id": "461", "gold_answer": "Никита Васильев"}
463
+ {"id": "462", "gold_answer": "Филипп Смирнов"}
464
+ {"id": "463", "gold_answer": "Гаэтан Перрен"}
465
+ {"id": "464", "gold_answer": "Apple"}
466
+ {"id": "465", "gold_answer": "БРИКС"}
467
+ {"id": "466", "gold_answer": "Евгения Гуцул"}
468
+ {"id": "467", "gold_answer": "Евгения Гуцул"}
469
+ {"id": "468", "gold_answer": "Харун Ахтар Хан"}
470
+ {"id": "469", "gold_answer": "Хеликобактер пилори"}
471
+ {"id": "470", "gold_answer": "Ускорительная масс-спектрометрия (УМС)"}
472
+ {"id": "471", "gold_answer": "Боевики Вооруженных сил Украины (ВСУ)"}
473
+ {"id": "472", "gold_answer": "Дирофиляриоз"}
474
+ {"id": "473", "gold_answer": "Омед Афшар"}
475
+ {"id": "474", "gold_answer": "Inspecto"}
476
+ {"id": "475", "gold_answer": "Inspecto"}
477
+ {"id": "476", "gold_answer": "Гарри и мебель-мутант середины века"}
478
+ {"id": "477", "gold_answer": "IGG"}
479
+ {"id": "478", "gold_answer": "Питер Фачинелли"}
480
+ {"id": "479", "gold_answer": "Павел Попов"}
481
+ {"id": "480", "gold_answer": "Павел Попов"}
482
+ {"id": "481", "gold_answer": "Даниил Касаткин"}
483
+ {"id": "482", "gold_answer": "Владимир Рогов"}
484
+ {"id": "483", "gold_answer": "Дворец культуры им. Горбунова"}
485
+ {"id": "484", "gold_answer": "Владимир Рогов"}
486
+ {"id": "485", "gold_answer": "Отар Кушанашвили"}
487
+ {"id": "486", "gold_answer": "Lada Niva"}
488
+ {"id": "487", "gold_answer": "Светлана Бессараб"}
489
+ {"id": "488", "gold_answer": "Fenomeno"}
490
+ {"id": "489", "gold_answer": "Fenomeno"}
491
+ {"id": "490", "gold_answer": "Украина"}
492
+ {"id": "491", "gold_answer": "Пупо"}
493
+ {"id": "492", "gold_answer": "Сон Ги-хун"}
494
+ {"id": "493", "gold_answer": "Кит Келлог"}
495
+ {"id": "494", "gold_answer": "Инес де Рамон"}
496
+ {"id": "495", "gold_answer": "Santo Subito"}
497
+ {"id": "496", "gold_answer": "Россия"}
498
+ {"id": "497", "gold_answer": "Россия"}
499
+ {"id": "498", "gold_answer": "Игорь Игнат"}
500
+ {"id": "499", "gold_answer": "Алекс Лесли"}
501
+ {"id": "500", "gold_answer": "Александр Коц"}
502
+ {"id": "501", "gold_answer": "Марк Сноу"}
503
+ {"id": "502", "gold_answer": "Азербайджан"}
504
+ {"id": "503", "gold_answer": "Santo Subito"}
505
+ {"id": "504", "gold_answer": "Telegram-канал"}
506
+ {"id": "505", "gold_answer": "Илья Гладченко"}
507
+ {"id": "506", "gold_answer": "Александра"}
508
+ {"id": "507", "gold_answer": "50 Cent"}
509
+ {"id": "508", "gold_answer": "Антон Алиханов"}
510
+ {"id": "509", "gold_answer": "Израи��ь"}
511
+ {"id": "510", "gold_answer": "Шарлиз Терон"}
512
+ {"id": "511", "gold_answer": "Леонид Агутин"}
513
+ {"id": "512", "gold_answer": "Алекс Лесли"}
514
+ {"id": "513", "gold_answer": "Яна Гайдук"}
515
+ {"id": "514", "gold_answer": "Zubr"}
516
+ {"id": "515", "gold_answer": "Zubr"}
517
+ {"id": "516", "gold_answer": "Игорь Петренко"}
518
+ {"id": "517", "gold_answer": "Эминем"}
519
+ {"id": "518", "gold_answer": "Пупо"}
520
+ {"id": "519", "gold_answer": "Владимир Путин"}
521
+ {"id": "520", "gold_answer": "Владимир Плякин"}
522
+ {"id": "521", "gold_answer": "Пол Радд"}
523
+ {"id": "522", "gold_answer": "США"}
524
+ {"id": "523", "gold_answer": "Саудовская Аравия"}
525
+ {"id": "524", "gold_answer": "Питер Фачинелли"}
526
+ {"id": "525", "gold_answer": "Санкт-Петербург"}
527
+ {"id": "526", "gold_answer": "Виттория Черетти"}
528
+ {"id": "527", "gold_answer": "Владимир Тодоров"}
529
+ {"id": "528", "gold_answer": "Владимир Тодоров"}
530
+ {"id": "529", "gold_answer": "Владислав Иконников"}
531
+ {"id": "530", "gold_answer": "Врач"}
532
+ {"id": "531", "gold_answer": "Ада Роговцева"}
533
+ {"id": "532", "gold_answer": "Виттория Черетти"}
534
+ {"id": "533", "gold_answer": "Александр Прокопенко"}
535
+ {"id": "534", "gold_answer": "Александр Лачугин"}
536
+ {"id": "535", "gold_answer": "Андрей Белоусов"}
537
+ {"id": "536", "gold_answer": "Арлан. Решающий раунд"}
538
+ {"id": "537", "gold_answer": "Атакама"}
539
+ {"id": "538", "gold_answer": "Афган Мюхтарли"}
540
+ {"id": "539", "gold_answer": "Афган Мюхтарли"}
541
+ {"id": "540", "gold_answer": "Майкл Мэдсен"}
542
+ {"id": "541", "gold_answer": "Андрей Цыпер"}
543
+ {"id": "542", "gold_answer": "Баку"}
544
+ {"id": "543", "gold_answer": "Барак Обама"}
545
+ {"id": "544", "gold_answer": "Барак Обама"}
546
+ {"id": "545", "gold_answer": "Андрей Сафонов"}
547
+ {"id": "546", "gold_answer": "Роман Старовойт"}
548
+ {"id": "547", "gold_answer": "Александр Малов"}
549
+ {"id": "548", "gold_answer": "Александра"}
550
+ {"id": "549", "gold_answer": "Прохор Шаляпин"}
551
+ {"id": "550", "gold_answer": "Александр Хинштейн"}
552
+ {"id": "551", "gold_answer": "Прохор Шаляпин"}
553
+ {"id": "552", "gold_answer": "Принц Фейсал бен Фархан Аль Сауд"}
554
+ {"id": "553", "gold_answer": "Брэд Питт"}
555
+ {"id": "554", "gold_answer": "Брэд Питт"}
556
+ {"id": "555", "gold_answer": "Вадим Красносельский"}
557
+ {"id": "556", "gold_answer": "Василий Нестеренко"}
558
+ {"id": "557", "gold_answer": "Великобритания"}
559
+ {"id": "558", "gold_answer": "Гарри и мебель-мутант середины века"}
560
+ {"id": "559", "gold_answer": "холодная"}
561
+ {"id": "560", "gold_answer": "Петроградский районный суд"}
562
+ {"id": "561", "gold_answer": "Керамический накопитель с лазерной гравировкой"}
563
+ {"id": "562", "gold_answer": "Никита Васильев"}
564
+ {"id": "563", "gold_answer": "Звук"}
565
+ {"id": "564", "gold_answer": "Игорь Петренко"}
566
+ {"id": "565", "gold_answer": "Мордовия"}
567
+ {"id": "566", "gold_answer": "Израиль"}
568
+ {"id": "567", "gold_answer": "Михаил Подоляк"}
569
+ {"id": "568", "gold_answer": "Ираклий Пирцхалава"}
570
+ {"id": "569", "gold_answer": "Ираклий Пирцхалава"}
571
+ {"id": "570", "gold_answer": "Италия"}
572
+ {"id": "571", "gold_answer": "Иэн Прауд"}
573
+ {"id": "572", "gold_answer": "Михаил Ефремов"}
574
+ {"id": "573", "gold_answer": "Михаил Ефремов"}
575
+ {"id": "574", "gold_answer": "Министерство промышленности и торговли"}
576
+ {"id": "575", "gold_answer": "Министерство промышленности и торговли"}
577
+ {"id": "576", "gold_answer": "Керамический накопитель с лазерной гравировкой"}
578
+ {"id": "577", "gold_answer": "Перри Уондер"}
579
+ {"id": "578", "gold_answer": "Керри Кинг"}
580
+ {"id": "579", "gold_answer": "Клубный чемпионат мира по футболу"}
581
+ {"id": "580", "gold_answer": "Клубный чемпионат мира по футболу"}
582
+ {"id": "581", "gold_answer": "Кристина Орбакайте"}
583
+ {"id": "582", "gold_answer": "Кристина Орбакайте"}
584
+ {"id": "583", "gold_answer": "Кроссовер"}
585
+ {"id": "584", "gold_answer": "Кроссовер"}
586
+ {"id": "585", "gold_answer": "Марк Цукерберг"}
587
+ {"id": "586", "gold_answer": "Марк Сноу"}
588
+ {"id": "587", "gold_answer": "Кудрово"}
589
+ {"id": "588", "gold_answer": "Маргарита Симоньян"}
590
+ {"id": "589", "gold_answer": "Леонид Агутин"}
591
+ {"id": "590", "gold_answer": "МОДКТОБ"}
592
+ {"id": "591", "gold_answer": "Маджид аль-Ансари"}
593
+ {"id": "592", "gold_answer": "Екатеринбург"}
594
+ {"id": "593", "gold_answer": "Нил Дракманн"}
595
+ {"id": "594", "gold_answer": "Нил Дракманн"}
596
+ {"id": "595", "gold_answer": "Евгений Чичваркин"}
597
+ {"id": "596", "gold_answer": "Педро Антонио (Тони) Родригес"}
598
+ {"id": "597", "gold_answer": "Педро Антонио (Тони) Родригес"}
599
+ {"id": "598", "gold_answer": "Горбушка"}
600
+ {"id": "599", "gold_answer": "Гунни"}
src/.DS_Store ADDED
Binary file (8.2 kB). View file
 
src/about.py CHANGED
@@ -1,72 +1,17 @@
1
- from dataclasses import dataclass
2
- from enum import Enum
3
-
4
- @dataclass
5
- class Task:
6
- benchmark: str
7
- metric: str
8
- col_name: str
9
-
10
-
11
- # Select your tasks here
12
- # ---------------------------------------------------
13
- class Tasks(Enum):
14
- # task_key in the json file, metric_key in the json file, name to display in the leaderboard
15
- task0 = Task("anli_r1", "acc", "ANLI")
16
- task1 = Task("logiqa", "acc_norm", "LogiQA")
17
-
18
- NUM_FEWSHOT = 0 # Change with your few shot
19
- # ---------------------------------------------------
20
-
21
-
22
-
23
- # Your leaderboard name
24
- TITLE = """<h1 align="center" id="space-title">Demo leaderboard</h1>"""
25
-
26
- # What does your leaderboard evaluate?
27
- INTRODUCTION_TEXT = """
28
- Intro text
29
- """
30
-
31
- # Which evaluations are you running? how can people reproduce what you have?
32
- LLM_BENCHMARKS_TEXT = f"""
33
- ## How it works
34
-
35
- ## Reproducibility
36
- To reproduce our results, here is the commands you can run:
37
-
38
- """
39
-
40
- EVALUATION_QUEUE_TEXT = """
41
- ## Some good practices before submitting a model
42
-
43
- ### 1) Make sure you can load your model and tokenizer using AutoClasses:
44
- ```python
45
- from transformers import AutoConfig, AutoModel, AutoTokenizer
46
- config = AutoConfig.from_pretrained("your model name", revision=revision)
47
- model = AutoModel.from_pretrained("your model name", revision=revision)
48
- tokenizer = AutoTokenizer.from_pretrained("your model name", revision=revision)
49
- ```
50
- If this step fails, follow the error messages to debug your model before submitting it. It's likely your model has been improperly uploaded.
51
-
52
- Note: make sure your model is public!
53
- Note: if your model needs `use_remote_code=True`, we do not support this option yet but we are working on adding it, stay posted!
54
-
55
- ### 2) Convert your model weights to [safetensors](https://huggingface.co/docs/safetensors/index)
56
- It's a new format for storing weights which is safer and faster to load and use. It will also allow us to add the number of parameters of your model to the `Extended Viewer`!
57
-
58
- ### 3) Make sure your model has an open license!
59
- This is a leaderboard for Open LLMs, and we'd love for as many people as possible to know they can use your model 🤗
60
-
61
- ### 4) Fill up your model card
62
- When we add extra information about models to the leaderboard, it will be automatically taken from the model card
63
-
64
- ## In case of model failure
65
- If your model is displayed in the `FAILED` category, its execution stopped.
66
- Make sure you have followed the above steps first.
67
- If everything is done, check you can launch the EleutherAIHarness on your model locally, using the above command without modifications (you can add `--limit` to limit the number of examples per task).
68
- """
69
-
70
- CITATION_BUTTON_LABEL = "Copy the following snippet to cite these results"
71
- CITATION_BUTTON_TEXT = r"""
72
  """
 
1
+ TITLE = """<h1 align="center">RAG Leaderboard</h1>"""
2
+ SUBTITLE = "Evaluate your Retrieval-Augmented Generation pipeline"
3
+
4
+ CITATION_BUTTON_LABEL = "🤗 Cite this leaderboard"
5
+ CITATION_BUTTON_TEXT = CITATION_BUTTON_LABEL
6
+ CITATION_URL = ""
7
+ LEADERBOARD_DESCRIPTION = "Upload your JSONL answers to benchmark your RAG system."
8
+
9
+ INTRODUCTION_TEXT = "RAG Leaderboard"
10
+ LLM_BENCHMARKS_TEXT = "Graded using gpt-5-mini or LM Studio"
11
+ EVALUATION_QUEUE_TEXT = "Submit JSONL files."
12
+
13
+ DESCRIPTION = """
14
+ # RAG Leaderboard
15
+ Upload predictions in JSONL format:
16
+ {"id":"0","answer":"...","doc_ids":["63"]}
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
17
  """
src/envs.py CHANGED
@@ -1,25 +1,14 @@
1
- import os
2
 
3
- from huggingface_hub import HfApi
 
 
 
 
4
 
5
- # Info to change for your repository
6
- # ----------------------------------
7
- TOKEN = os.environ.get("HF_TOKEN") # A read/write token for your org
8
 
9
- OWNER = "demo-leaderboard-backend" # Change to your org - don't forget to create a results and request dataset, with the correct format!
10
- # ----------------------------------
11
-
12
- REPO_ID = f"{OWNER}/leaderboard"
13
- QUEUE_REPO = f"{OWNER}/requests"
14
- RESULTS_REPO = f"{OWNER}/results"
15
-
16
- # If you setup a cache later, just change HF_HOME
17
- CACHE_PATH=os.getenv("HF_HOME", ".")
18
-
19
- # Local caches
20
- EVAL_REQUESTS_PATH = os.path.join(CACHE_PATH, "eval-queue")
21
- EVAL_RESULTS_PATH = os.path.join(CACHE_PATH, "eval-results")
22
- EVAL_REQUESTS_PATH_BACKEND = os.path.join(CACHE_PATH, "eval-queue-bk")
23
- EVAL_RESULTS_PATH_BACKEND = os.path.join(CACHE_PATH, "eval-results-bk")
24
-
25
- API = HfApi(token=TOKEN)
 
1
+ import os, json
2
 
3
+ USE_LM_STUDIO = os.getenv("USE_LM_STUDIO", "false").lower() == "true"
4
+ EVAL_MODEL = os.getenv("EVAL_MODEL", "gpt-5-mini-2025-08-07")
5
+ EVAL_CONCURRENCY = int(os.getenv("EVAL_CONCURRENCY", "10"))
6
+ OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
7
+ XAI_API_KEY = os.getenv("XAI_API_KEY")
8
 
9
+ CORPUS_PATH = "data/5/corpus.jsonl"
10
+ QUESTIONS_PATH = "data/5/questions_public.jsonl"
11
+ GOLD_PATH = "secret/5/answers_gold.jsonl"
12
 
13
+ def load_jsonl(path):
14
+ return [json.loads(l) for l in open(path, encoding="utf-8")]
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
src/leaderboard/read_evals.py CHANGED
@@ -1,196 +0,0 @@
1
- import glob
2
- import json
3
- import math
4
- import os
5
- from dataclasses import dataclass
6
-
7
- import dateutil
8
- import numpy as np
9
-
10
- from src.display.formatting import make_clickable_model
11
- from src.display.utils import AutoEvalColumn, ModelType, Tasks, Precision, WeightType
12
- from src.submission.check_validity import is_model_on_hub
13
-
14
-
15
- @dataclass
16
- class EvalResult:
17
- """Represents one full evaluation. Built from a combination of the result and request file for a given run.
18
- """
19
- eval_name: str # org_model_precision (uid)
20
- full_model: str # org/model (path on hub)
21
- org: str
22
- model: str
23
- revision: str # commit hash, "" if main
24
- results: dict
25
- precision: Precision = Precision.Unknown
26
- model_type: ModelType = ModelType.Unknown # Pretrained, fine tuned, ...
27
- weight_type: WeightType = WeightType.Original # Original or Adapter
28
- architecture: str = "Unknown"
29
- license: str = "?"
30
- likes: int = 0
31
- num_params: int = 0
32
- date: str = "" # submission date of request file
33
- still_on_hub: bool = False
34
-
35
- @classmethod
36
- def init_from_json_file(self, json_filepath):
37
- """Inits the result from the specific model result file"""
38
- with open(json_filepath) as fp:
39
- data = json.load(fp)
40
-
41
- config = data.get("config")
42
-
43
- # Precision
44
- precision = Precision.from_str(config.get("model_dtype"))
45
-
46
- # Get model and org
47
- org_and_model = config.get("model_name", config.get("model_args", None))
48
- org_and_model = org_and_model.split("/", 1)
49
-
50
- if len(org_and_model) == 1:
51
- org = None
52
- model = org_and_model[0]
53
- result_key = f"{model}_{precision.value.name}"
54
- else:
55
- org = org_and_model[0]
56
- model = org_and_model[1]
57
- result_key = f"{org}_{model}_{precision.value.name}"
58
- full_model = "/".join(org_and_model)
59
-
60
- still_on_hub, _, model_config = is_model_on_hub(
61
- full_model, config.get("model_sha", "main"), trust_remote_code=True, test_tokenizer=False
62
- )
63
- architecture = "?"
64
- if model_config is not None:
65
- architectures = getattr(model_config, "architectures", None)
66
- if architectures:
67
- architecture = ";".join(architectures)
68
-
69
- # Extract results available in this file (some results are split in several files)
70
- results = {}
71
- for task in Tasks:
72
- task = task.value
73
-
74
- # We average all scores of a given metric (not all metrics are present in all files)
75
- accs = np.array([v.get(task.metric, None) for k, v in data["results"].items() if task.benchmark == k])
76
- if accs.size == 0 or any([acc is None for acc in accs]):
77
- continue
78
-
79
- mean_acc = np.mean(accs) * 100.0
80
- results[task.benchmark] = mean_acc
81
-
82
- return self(
83
- eval_name=result_key,
84
- full_model=full_model,
85
- org=org,
86
- model=model,
87
- results=results,
88
- precision=precision,
89
- revision= config.get("model_sha", ""),
90
- still_on_hub=still_on_hub,
91
- architecture=architecture
92
- )
93
-
94
- def update_with_request_file(self, requests_path):
95
- """Finds the relevant request file for the current model and updates info with it"""
96
- request_file = get_request_file_for_model(requests_path, self.full_model, self.precision.value.name)
97
-
98
- try:
99
- with open(request_file, "r") as f:
100
- request = json.load(f)
101
- self.model_type = ModelType.from_str(request.get("model_type", ""))
102
- self.weight_type = WeightType[request.get("weight_type", "Original")]
103
- self.license = request.get("license", "?")
104
- self.likes = request.get("likes", 0)
105
- self.num_params = request.get("params", 0)
106
- self.date = request.get("submitted_time", "")
107
- except Exception:
108
- print(f"Could not find request file for {self.org}/{self.model} with precision {self.precision.value.name}")
109
-
110
- def to_dict(self):
111
- """Converts the Eval Result to a dict compatible with our dataframe display"""
112
- average = sum([v for v in self.results.values() if v is not None]) / len(Tasks)
113
- data_dict = {
114
- "eval_name": self.eval_name, # not a column, just a save name,
115
- AutoEvalColumn.precision.name: self.precision.value.name,
116
- AutoEvalColumn.model_type.name: self.model_type.value.name,
117
- AutoEvalColumn.model_type_symbol.name: self.model_type.value.symbol,
118
- AutoEvalColumn.weight_type.name: self.weight_type.value.name,
119
- AutoEvalColumn.architecture.name: self.architecture,
120
- AutoEvalColumn.model.name: make_clickable_model(self.full_model),
121
- AutoEvalColumn.revision.name: self.revision,
122
- AutoEvalColumn.average.name: average,
123
- AutoEvalColumn.license.name: self.license,
124
- AutoEvalColumn.likes.name: self.likes,
125
- AutoEvalColumn.params.name: self.num_params,
126
- AutoEvalColumn.still_on_hub.name: self.still_on_hub,
127
- }
128
-
129
- for task in Tasks:
130
- data_dict[task.value.col_name] = self.results[task.value.benchmark]
131
-
132
- return data_dict
133
-
134
-
135
- def get_request_file_for_model(requests_path, model_name, precision):
136
- """Selects the correct request file for a given model. Only keeps runs tagged as FINISHED"""
137
- request_files = os.path.join(
138
- requests_path,
139
- f"{model_name}_eval_request_*.json",
140
- )
141
- request_files = glob.glob(request_files)
142
-
143
- # Select correct request file (precision)
144
- request_file = ""
145
- request_files = sorted(request_files, reverse=True)
146
- for tmp_request_file in request_files:
147
- with open(tmp_request_file, "r") as f:
148
- req_content = json.load(f)
149
- if (
150
- req_content["status"] in ["FINISHED"]
151
- and req_content["precision"] == precision.split(".")[-1]
152
- ):
153
- request_file = tmp_request_file
154
- return request_file
155
-
156
-
157
- def get_raw_eval_results(results_path: str, requests_path: str) -> list[EvalResult]:
158
- """From the path of the results folder root, extract all needed info for results"""
159
- model_result_filepaths = []
160
-
161
- for root, _, files in os.walk(results_path):
162
- # We should only have json files in model results
163
- if len(files) == 0 or any([not f.endswith(".json") for f in files]):
164
- continue
165
-
166
- # Sort the files by date
167
- try:
168
- files.sort(key=lambda x: x.removesuffix(".json").removeprefix("results_")[:-7])
169
- except dateutil.parser._parser.ParserError:
170
- files = [files[-1]]
171
-
172
- for file in files:
173
- model_result_filepaths.append(os.path.join(root, file))
174
-
175
- eval_results = {}
176
- for model_result_filepath in model_result_filepaths:
177
- # Creation of result
178
- eval_result = EvalResult.init_from_json_file(model_result_filepath)
179
- eval_result.update_with_request_file(requests_path)
180
-
181
- # Store results of same eval together
182
- eval_name = eval_result.eval_name
183
- if eval_name in eval_results.keys():
184
- eval_results[eval_name].results.update({k: v for k, v in eval_result.results.items() if v is not None})
185
- else:
186
- eval_results[eval_name] = eval_result
187
-
188
- results = []
189
- for v in eval_results.values():
190
- try:
191
- v.to_dict() # we test if the dict version is complete
192
- results.append(v)
193
- except KeyError: # not all eval values present
194
- continue
195
-
196
- return results
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
src/submission/check_validity.py CHANGED
@@ -1,99 +1,20 @@
1
  import json
2
- import os
3
- import re
4
- from collections import defaultdict
5
- from datetime import datetime, timedelta, timezone
6
 
7
- import huggingface_hub
8
- from huggingface_hub import ModelCard
9
- from huggingface_hub.hf_api import ModelInfo
10
- from transformers import AutoConfig
11
- from transformers.models.auto.tokenization_auto import AutoTokenizer
 
 
12
 
13
- def check_model_card(repo_id: str) -> tuple[bool, str]:
14
- """Checks if the model card and license exist and have been filled"""
15
- try:
16
- card = ModelCard.load(repo_id)
17
- except huggingface_hub.utils.EntryNotFoundError:
18
- return False, "Please add a model card to your model to explain how you trained/fine-tuned it."
19
 
20
- # Enforce license metadata
21
- if card.data.license is None:
22
- if not ("license_name" in card.data and "license_link" in card.data):
23
- return False, (
24
- "License not found. Please add a license to your model card using the `license` metadata or a"
25
- " `license_name`/`license_link` pair."
26
- )
27
 
28
- # Enforce card content
29
- if len(card.text) < 200:
30
- return False, "Please add a description to your model card, it is too short."
31
-
32
- return True, ""
33
-
34
- def is_model_on_hub(model_name: str, revision: str, token: str = None, trust_remote_code=False, test_tokenizer=False) -> tuple[bool, str]:
35
- """Checks if the model model_name is on the hub, and whether it (and its tokenizer) can be loaded with AutoClasses."""
36
- try:
37
- config = AutoConfig.from_pretrained(model_name, revision=revision, trust_remote_code=trust_remote_code, token=token)
38
- if test_tokenizer:
39
- try:
40
- tk = AutoTokenizer.from_pretrained(model_name, revision=revision, trust_remote_code=trust_remote_code, token=token)
41
- except ValueError as e:
42
- return (
43
- False,
44
- f"uses a tokenizer which is not in a transformers release: {e}",
45
- None
46
- )
47
- except Exception as e:
48
- return (False, "'s tokenizer cannot be loaded. Is your tokenizer class in a stable transformers release, and correctly configured?", None)
49
- return True, None, config
50
-
51
- except ValueError:
52
- return (
53
- False,
54
- "needs to be launched with `trust_remote_code=True`. For safety reason, we do not allow these models to be automatically submitted to the leaderboard.",
55
- None
56
- )
57
-
58
- except Exception as e:
59
- return False, "was not found on hub!", None
60
-
61
-
62
- def get_model_size(model_info: ModelInfo, precision: str):
63
- """Gets the model size from the configuration, or the model name if the configuration does not contain the information."""
64
- try:
65
- model_size = round(model_info.safetensors["total"] / 1e9, 3)
66
- except (AttributeError, TypeError):
67
- return 0 # Unknown model sizes are indicated as 0, see NUMERIC_INTERVALS in app.py
68
-
69
- size_factor = 8 if (precision == "GPTQ" or "gptq" in model_info.modelId.lower()) else 1
70
- model_size = size_factor * model_size
71
- return model_size
72
-
73
- def get_model_arch(model_info: ModelInfo):
74
- """Gets the model architecture from the configuration"""
75
- return model_info.config.get("architectures", "Unknown")
76
-
77
- def already_submitted_models(requested_models_dir: str) -> set[str]:
78
- """Gather a list of already submitted models to avoid duplicates"""
79
- depth = 1
80
- file_names = []
81
- users_to_submission_dates = defaultdict(list)
82
-
83
- for root, _, files in os.walk(requested_models_dir):
84
- current_depth = root.count(os.sep) - requested_models_dir.count(os.sep)
85
- if current_depth == depth:
86
- for file in files:
87
- if not file.endswith(".json"):
88
- continue
89
- with open(os.path.join(root, file), "r") as f:
90
- info = json.load(f)
91
- file_names.append(f"{info['model']}_{info['revision']}_{info['precision']}")
92
-
93
- # Select organisation
94
- if info["model"].count("/") == 0 or "submitted_time" not in info:
95
- continue
96
- organisation, _ = info["model"].split("/")
97
- users_to_submission_dates[organisation].append(info["submitted_time"])
98
-
99
- return set(file_names), users_to_submission_dates
 
1
  import json
 
 
 
 
2
 
3
+ def check_submission(path):
4
+ lines = open(path, encoding="utf-8").read().splitlines()
5
+ for i, line in enumerate(lines):
6
+ try:
7
+ item = json.loads(line)
8
+ except:
9
+ return False, f"Line {i} is not valid JSON"
10
 
11
+ if "id" not in item or "answer" not in item:
12
+ return False, f"Missing id or answer in line {i}"
 
 
 
 
13
 
14
+ if "doc_ids" in item:
15
+ if not isinstance(item["doc_ids"], list):
16
+ return False, f"doc_ids must be list in line {i}"
17
+ if len(item["doc_ids"]) > 10:
18
+ return False, f"Maximum 10 doc_ids allowed (line {i})"
 
 
19
 
20
+ return True, f"{len(lines)} items validated"
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
src/submission/submit.py CHANGED
@@ -1,119 +1,196 @@
 
1
  import json
2
- import os
3
- from datetime import datetime, timezone
4
-
5
- from src.display.formatting import styled_error, styled_message, styled_warning
6
- from src.envs import API, EVAL_REQUESTS_PATH, TOKEN, QUEUE_REPO
7
- from src.submission.check_validity import (
8
- already_submitted_models,
9
- check_model_card,
10
- get_model_size,
11
- is_model_on_hub,
12
  )
13
 
14
- REQUESTED_MODELS = None
15
- USERS_TO_SUBMISSION_DATES = None
16
-
17
- def add_new_eval(
18
- model: str,
19
- base_model: str,
20
- revision: str,
21
- precision: str,
22
- weight_type: str,
23
- model_type: str,
24
- ):
25
- global REQUESTED_MODELS
26
- global USERS_TO_SUBMISSION_DATES
27
- if not REQUESTED_MODELS:
28
- REQUESTED_MODELS, USERS_TO_SUBMISSION_DATES = already_submitted_models(EVAL_REQUESTS_PATH)
29
-
30
- user_name = ""
31
- model_path = model
32
- if "/" in model:
33
- user_name = model.split("/")[0]
34
- model_path = model.split("/")[1]
35
-
36
- precision = precision.split(" ")[0]
37
- current_time = datetime.now(timezone.utc).strftime("%Y-%m-%dT%H:%M:%SZ")
38
-
39
- if model_type is None or model_type == "":
40
- return styled_error("Please select a model type.")
41
-
42
- # Does the model actually exist?
43
- if revision == "":
44
- revision = "main"
45
-
46
- # Is the model on the hub?
47
- if weight_type in ["Delta", "Adapter"]:
48
- base_model_on_hub, error, _ = is_model_on_hub(model_name=base_model, revision=revision, token=TOKEN, test_tokenizer=True)
49
- if not base_model_on_hub:
50
- return styled_error(f'Base model "{base_model}" {error}')
51
-
52
- if not weight_type == "Adapter":
53
- model_on_hub, error, _ = is_model_on_hub(model_name=model, revision=revision, token=TOKEN, test_tokenizer=True)
54
- if not model_on_hub:
55
- return styled_error(f'Model "{model}" {error}')
56
-
57
- # Is the model info correctly filled?
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
58
  try:
59
- model_info = API.model_info(repo_id=model, revision=revision)
 
 
 
 
 
60
  except Exception:
61
- return styled_error("Could not get your model information. Please fill it up properly.")
 
 
 
 
62
 
63
- model_size = get_model_size(model_info=model_info, precision=precision)
64
 
65
- # Were the model card and license filled?
 
 
 
 
 
 
 
66
  try:
67
- license = model_info.cardData["license"]
68
- except Exception:
69
- return styled_error("Please select a license for your model")
70
-
71
- modelcard_OK, error_msg = check_model_card(model)
72
- if not modelcard_OK:
73
- return styled_error(error_msg)
74
-
75
- # Seems good, creating the eval
76
- print("Adding new eval")
77
-
78
- eval_entry = {
79
- "model": model,
80
- "base_model": base_model,
81
- "revision": revision,
82
- "precision": precision,
83
- "weight_type": weight_type,
84
- "status": "PENDING",
85
- "submitted_time": current_time,
86
- "model_type": model_type,
87
- "likes": model_info.likes,
88
- "params": model_size,
89
- "license": license,
90
- "private": False,
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
91
  }
92
-
93
- # Check for duplicate submission
94
- if f"{model}_{revision}_{precision}" in REQUESTED_MODELS:
95
- return styled_warning("This model has been already submitted.")
96
-
97
- print("Creating eval file")
98
- OUT_DIR = f"{EVAL_REQUESTS_PATH}/{user_name}"
99
- os.makedirs(OUT_DIR, exist_ok=True)
100
- out_path = f"{OUT_DIR}/{model_path}_eval_request_False_{precision}_{weight_type}.json"
101
-
102
- with open(out_path, "w") as f:
103
- f.write(json.dumps(eval_entry))
104
-
105
- print("Uploading eval file")
106
- API.upload_file(
107
- path_or_fileobj=out_path,
108
- path_in_repo=out_path.split("eval-queue/")[1],
109
- repo_id=QUEUE_REPO,
110
- repo_type="dataset",
111
- commit_message=f"Add {model} to eval queue",
112
- )
113
-
114
- # Remove the local file
115
- os.remove(out_path)
116
-
117
- return styled_message(
118
- "Your request has been submitted to the evaluation queue!\nPlease wait for up to an hour for the model to show in the PENDING list."
119
- )
 
1
+ # src/submission/submit.py
2
  import json
3
+ import asyncio
4
+ import requests
5
+ from openai import OpenAI
6
+ import httpx
7
+
8
+ from src.envs import (
9
+ USE_LM_STUDIO, EVAL_MODEL, XAI_API_KEY,
10
+ QUESTIONS_PATH, GOLD_PATH, load_jsonl
 
 
11
  )
12
 
13
+ # from xai_sdk import Client
14
+ # from xai_sdk.chat import user, system
15
+ #
16
+ # client = Client(
17
+ # api_key=XAI_API_KEY,
18
+ # timeout=3600, # Override default timeout with longer timeout for reasoning models
19
+ # ) if not USE_LM_STUDIO else None
20
+
21
+ client = OpenAI(
22
+ api_key=XAI_API_KEY,
23
+ base_url="https://api.x.ai/v1",
24
+ timeout=httpx.Timeout(3600.0), # Override default timeout with longer timeout for reasoning models
25
+ ) if not USE_LM_STUDIO else None
26
+
27
+ # chat = client.chat.create(model="grok-4")
28
+ # chat.append(system("You are a PhD-level mathematician."))
29
+ # chat.append(user("What is 2 + 2?"))
30
+ #
31
+ # response = chat.sample()
32
+ # print(response.content)
33
+
34
+
35
+
36
+ SYSTEM_PROMPT = """You are a strict grader for a RAG QA competition.
37
+ Return JSON: {"score": 0|1|2}.
38
+ Rules:
39
+ - 2: semantically equivalent to gold
40
+ - 1: partially correct
41
+ - 0: wrong/empty/irrelevant
42
+ """
43
+
44
+ if USE_LM_STUDIO:
45
+ SYSTEM_PROMPT = """You are a strict grader.
46
+ Return ONLY a JSON object with key "score" and optional "justification".
47
+ Example: {"score": 2, "justification": "..."}
48
+
49
+ Scores:
50
+ 2 = fully correct
51
+ 1 = partially correct
52
+ 0 = wrong/empty/irrelevant
53
+ """
54
+
55
+ USER_PROMPT_TEMPLATE = """Question:
56
+ {question}
57
+
58
+ Gold answer:
59
+ {gold}
60
+
61
+ Participant answer:
62
+ {pred}
63
+ """
64
+
65
+ # client = OpenAI(api_key=OPENAI_API_KEY) if not USE_LM_STUDIO else None
66
+
67
+
68
+ async def eval_one(question, gold, pred):
69
+ pred = (pred or "").strip()
70
+ if not pred:
71
+ return 0
72
+
73
+ prompt = USER_PROMPT_TEMPLATE.format(question=question, gold=gold, pred=pred)
74
+
75
+ payload = {
76
+ "model": EVAL_MODEL,
77
+ "messages": [
78
+ {"role": "system", "content": SYSTEM_PROMPT},
79
+ {"role": "user", "content": prompt},
80
+ ],
81
+ "temperature": 0,
82
+ }
83
+
84
+ import re, json
85
+
86
+ def parse_score(text: str) -> int:
87
+ # вытащим первый JSON-объект из текста
88
+ m = re.search(r"\{.*\}", text, re.DOTALL)
89
+ if not m:
90
+ return 0
91
+ try:
92
+ obj = json.loads(m.group(0))
93
+ s = int(obj.get("score", 0))
94
+ return s if s in (0,1,2) else 0
95
+ except:
96
+ return 0
97
+
98
+
99
+ if not USE_LM_STUDIO:
100
+ payload["response_format"] = {"type": "json_object"}
101
+
102
+ # --- LM Studio mode ---
103
+ if USE_LM_STUDIO:
104
+
105
+ try:
106
+ r = requests.post(
107
+ "http://192.168.68.106:1234/v1/chat/completions",
108
+ json=payload,
109
+ timeout=60,
110
+ )
111
+ data = r.json()
112
+ print(data)
113
+ msg = data["choices"][0]["message"]["content"]
114
+ score = parse_score(msg)
115
+ return score
116
+ except Exception as e:
117
+ print('what', e)
118
+ return 0
119
+
120
+ # --- OpenAI mode ---
121
  try:
122
+ resp = await asyncio.to_thread(
123
+ lambda: client.chat.completions.create(**payload)
124
+ )
125
+ msg = resp.choices[0].message.content
126
+ score = int(json.loads(msg).get("score", 0))
127
+ return score if score in (0, 1, 2) else 0
128
  except Exception:
129
+ return 0
130
+
131
+
132
+ async def _evaluate_all(tasks):
133
+ return await asyncio.gather(*tasks)
134
 
 
135
 
136
+ def _run_async(coro):
137
+ """
138
+ Надёжно запускает async-код:
139
+ - если сейчас нет event loop → обычный asyncio.run
140
+ - если внутри уже работающего loop (Gradio/AnyIO/Jupyter) → запускаем в новом потоке с новым loop
141
+ """
142
+ import threading
143
+
144
  try:
145
+ # обычный сценарий (нет активного loop в этом потоке)
146
+ return asyncio.run(coro)
147
+ except RuntimeError:
148
+ # внутри активного event loop → запускаем в отдельном потоке
149
+ result_container = {}
150
+
151
+ def runner():
152
+ loop = asyncio.new_event_loop()
153
+ asyncio.set_event_loop(loop)
154
+ try:
155
+ result_container["res"] = loop.run_until_complete(coro)
156
+ finally:
157
+ loop.close()
158
+
159
+ t = threading.Thread(target=runner)
160
+ t.start()
161
+ t.join()
162
+ return result_container["res"]
163
+
164
+
165
+ def evaluate_submission(submit_path: str):
166
+ # submission jsonl: {"id":..., "answer":..., "doc_ids":[...]} per line
167
+ sub_rows = load_jsonl(submit_path)
168
+ pred_map = {str(x["id"]): str(x.get("answer", "")) for x in sub_rows}
169
+
170
+ questions = load_jsonl(QUESTIONS_PATH)
171
+ gold_rows = load_jsonl(GOLD_PATH)
172
+ gold_map = {str(x["id"]): str(x.get("gold_answer", "")) for x in gold_rows}
173
+
174
+ tasks = []
175
+ for q in questions:
176
+ qid = str(q["id"])
177
+ question = q["question"]
178
+ gold = gold_map.get(qid, "")
179
+ pred = pred_map.get(qid, "")
180
+
181
+ # print(question, gold, pred)
182
+
183
+ tasks.append(eval_one(question, gold, pred))
184
+
185
+ scores = _run_async(_evaluate_all(tasks))
186
+
187
+ zeros = scores.count(0)
188
+ ones = scores.count(1)
189
+ twos = scores.count(2)
190
+
191
+ return {
192
+ "zeros": zeros,
193
+ "ones": ones,
194
+ "twos": twos,
195
+ "n": len(scores),
196
  }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
src/submission/submit — OpenAI.py ADDED
@@ -0,0 +1,172 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # src/submission/submit.py
2
+ import json
3
+ import asyncio
4
+ import requests
5
+ from openai import OpenAI
6
+
7
+ from src.envs import (
8
+ USE_LM_STUDIO, EVAL_MODEL, OPENAI_API_KEY,
9
+ QUESTIONS_PATH, GOLD_PATH, load_jsonl
10
+ )
11
+
12
+ SYSTEM_PROMPT = """You are a strict grader for a RAG QA competition.
13
+ Return JSON: {"score": 0|1|2}.
14
+ Rules:
15
+ - 2: semantically equivalent to gold
16
+ - 1: partially correct
17
+ - 0: wrong/empty/irrelevant
18
+ """
19
+
20
+ if USE_LM_STUDIO:
21
+ SYSTEM_PROMPT = """You are a strict grader.
22
+ Return ONLY a JSON object with key "score" and optional "justification".
23
+ Example: {"score": 2, "justification": "..."}
24
+
25
+ Scores:
26
+ 2 = fully correct
27
+ 1 = partially correct
28
+ 0 = wrong/empty/irrelevant
29
+ """
30
+
31
+ USER_PROMPT_TEMPLATE = """Question:
32
+ {question}
33
+
34
+ Gold answer:
35
+ {gold}
36
+
37
+ Participant answer:
38
+ {pred}
39
+ """
40
+
41
+ client = OpenAI(api_key=OPENAI_API_KEY) if not USE_LM_STUDIO else None
42
+
43
+
44
+ async def eval_one(question, gold, pred):
45
+ pred = (pred or "").strip()
46
+ if not pred:
47
+ return 0
48
+
49
+ prompt = USER_PROMPT_TEMPLATE.format(question=question, gold=gold, pred=pred)
50
+
51
+ payload = {
52
+ "model": EVAL_MODEL,
53
+ "messages": [
54
+ {"role": "system", "content": SYSTEM_PROMPT},
55
+ {"role": "user", "content": prompt},
56
+ ],
57
+ "temperature": 0,
58
+ }
59
+
60
+ import re, json
61
+
62
+ def parse_score(text: str) -> int:
63
+ # вытащим первый JSON-объект из текста
64
+ m = re.search(r"\{.*\}", text, re.DOTALL)
65
+ if not m:
66
+ return 0
67
+ try:
68
+ obj = json.loads(m.group(0))
69
+ s = int(obj.get("score", 0))
70
+ return s if s in (0,1,2) else 0
71
+ except:
72
+ return 0
73
+
74
+
75
+ if not USE_LM_STUDIO:
76
+ payload["response_format"] = {"type": "json_object"}
77
+
78
+ # --- LM Studio mode ---
79
+ if USE_LM_STUDIO:
80
+
81
+ try:
82
+ r = requests.post(
83
+ "http://192.168.68.106:1234/v1/chat/completions",
84
+ json=payload,
85
+ timeout=60,
86
+ )
87
+ data = r.json()
88
+ print(data)
89
+ msg = data["choices"][0]["message"]["content"]
90
+ score = parse_score(msg)
91
+ return score
92
+ except Exception as e:
93
+ print('what', e)
94
+ return 0
95
+
96
+ # --- OpenAI mode ---
97
+ try:
98
+ resp = await asyncio.to_thread(
99
+ lambda: client.chat.completions.create(**payload)
100
+ )
101
+ msg = resp.choices[0].message.content
102
+ score = int(json.loads(msg).get("score", 0))
103
+ return score if score in (0, 1, 2) else 0
104
+ except Exception:
105
+ return 0
106
+
107
+
108
+ async def _evaluate_all(tasks):
109
+ return await asyncio.gather(*tasks)
110
+
111
+
112
+ def _run_async(coro):
113
+ """
114
+ Надёжно запускает async-код:
115
+ - если сейчас нет event loop → обычный asyncio.run
116
+ - если внутри уже работающего loop (Gradio/AnyIO/Jupyter) → запускаем в новом потоке с новым loop
117
+ """
118
+ import threading
119
+
120
+ try:
121
+ # обычный сценарий (нет активного loop в этом потоке)
122
+ return asyncio.run(coro)
123
+ except RuntimeError:
124
+ # внутри активного event loop → запускаем в отдельном потоке
125
+ result_container = {}
126
+
127
+ def runner():
128
+ loop = asyncio.new_event_loop()
129
+ asyncio.set_event_loop(loop)
130
+ try:
131
+ result_container["res"] = loop.run_until_complete(coro)
132
+ finally:
133
+ loop.close()
134
+
135
+ t = threading.Thread(target=runner)
136
+ t.start()
137
+ t.join()
138
+ return result_container["res"]
139
+
140
+
141
+ def evaluate_submission(submit_path: str):
142
+ # submission jsonl: {"id":..., "answer":..., "doc_ids":[...]} per line
143
+ sub_rows = load_jsonl(submit_path)
144
+ pred_map = {str(x["id"]): str(x.get("answer", "")) for x in sub_rows}
145
+
146
+ questions = load_jsonl(QUESTIONS_PATH)
147
+ gold_rows = load_jsonl(GOLD_PATH)
148
+ gold_map = {str(x["id"]): str(x.get("gold_answer", "")) for x in gold_rows}
149
+
150
+ tasks = []
151
+ for q in questions:
152
+ qid = str(q["id"])
153
+ question = q["question"]
154
+ gold = gold_map.get(qid, "")
155
+ pred = pred_map.get(qid, "")
156
+
157
+ # print(question, gold, pred)
158
+
159
+ tasks.append(eval_one(question, gold, pred))
160
+
161
+ scores = _run_async(_evaluate_all(tasks))
162
+
163
+ zeros = scores.count(0)
164
+ ones = scores.count(1)
165
+ twos = scores.count(2)
166
+
167
+ return {
168
+ "zeros": zeros,
169
+ "ones": ones,
170
+ "twos": twos,
171
+ "n": len(scores),
172
+ }