trigger166 commited on
Commit
91b6ce1
·
1 Parent(s): 36c6aa0

train llama2

Browse files
Files changed (1) hide show
  1. app.py +2 -2
app.py CHANGED
@@ -17,7 +17,7 @@ login(hf_token)
17
  dataset = load_dataset("json", data_files="data.jsonl")
18
 
19
  # Definisci il modello e il tokenizer
20
- model_name = "google/flan-t5-small" # Puoi scegliere un modello T5 base per semplicità
21
  tokenizer = AutoTokenizer.from_pretrained(model_name)
22
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
23
 
@@ -35,7 +35,7 @@ tokenized_dataset = dataset.map(preprocess_data, batched=True)
35
  # Configura i parametri di addestramento
36
  training_args = TrainingArguments(
37
  output_dir="./results",
38
- eval_strategy="no", # Disabilita la valutazione durante l'addestramento
39
  learning_rate=2e-5,
40
  per_device_train_batch_size=4,
41
  num_train_epochs=3,
 
17
  dataset = load_dataset("json", data_files="data.jsonl")
18
 
19
  # Definisci il modello e il tokenizer
20
+ model_name = "meta-llama/Llama-2-7b-hf"
21
  tokenizer = AutoTokenizer.from_pretrained(model_name)
22
  model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
23
 
 
35
  # Configura i parametri di addestramento
36
  training_args = TrainingArguments(
37
  output_dir="./results",
38
+ eval_strategy="no", # Disabilita la valutazione durante l'addestramento
39
  learning_rate=2e-5,
40
  per_device_train_batch_size=4,
41
  num_train_epochs=3,