trigger166 commited on
Commit
24b97e8
·
1 Parent(s): 3682f57
Files changed (1) hide show
  1. app.py +12 -2
app.py CHANGED
@@ -1,13 +1,23 @@
 
1
  import gradio as gr
2
  import torch
3
- from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, Trainer, TrainingArguments
4
  from datasets import load_dataset
 
 
 
 
 
 
 
 
 
5
 
6
  # Carica il dataset dal file JSONL
7
  dataset = load_dataset("json", data_files="data.jsonl")
8
 
9
  # Definisci il modello e il tokenizer
10
- model_name = "google/flan-t5-small" # Puoi scegliere un modello T5 base per semplicità
11
  tokenizer = AutoTokenizer.from_pretrained(model_name)
12
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
13
 
 
1
+ import os
2
  import gradio as gr
3
  import torch
4
+ from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, Trainer, TrainingArguments, EncoderDecoderCache
5
  from datasets import load_dataset
6
+ from huggingface_hub import login
7
+
8
+
9
+ hf_token = os.getenv("HF_TOKEN")
10
+ if hf_token is None:
11
+ raise ValueError("Il token HF_TOKEN non è impostato nelle variabili d'ambiente")
12
+ login(hf_token)
13
+
14
+
15
 
16
  # Carica il dataset dal file JSONL
17
  dataset = load_dataset("json", data_files="data.jsonl")
18
 
19
  # Definisci il modello e il tokenizer
20
+ model_name = "google/flan-t5-small" # Puoi scegliere un modello T5 base per semplicità
21
  tokenizer = AutoTokenizer.from_pretrained(model_name)
22
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
23