llama

app.py

@@ -1,7 +1,7 @@
 import os
 import gradio as gr
 import torch
-from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, Trainer, TrainingArguments, EncoderDecoderCache
+from transformers import AutoModelForCausalLM, AutoModelForSeq2SeqLM, AutoTokenizer, Trainer, TrainingArguments, EncoderDecoderCache
 from datasets import load_dataset
 from huggingface_hub import login
 
@@ -19,27 +19,30 @@ dataset = load_dataset("json", data_files="data.jsonl")
 # Definisci il modello e il tokenizer
 model_name = "meta-llama/Llama-2-7b-hf"
 tokenizer = AutoTokenizer.from_pretrained(model_name)
-model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
+model = AutoModelForCausalLM.from_pretrained(model_name)
+
+# Sposta il modello su GPU se disponibile
+device = "cuda" if torch.cuda.is_available() else "cpu"
+model.to(device)
 
 # Tokenizza il dataset
 def preprocess_data(example):
-    input_text = example["question"]
-    target_text = example["answer"]
-    inputs = tokenizer(input_text, padding="max_length", truncation=True, max_length=128)
-    targets = tokenizer(target_text, padding="max_length", truncation=True, max_length=128)
-    inputs["labels"] = targets["input_ids"]
+    inputs = tokenizer(example["text"], truncation=True, max_length=256)
+    inputs["labels"] = inputs["input_ids"].copy()
     return inputs
 
+
 tokenized_dataset = dataset.map(preprocess_data, batched=True)
 
 # Configura i parametri di addestramento
 training_args = TrainingArguments(
     output_dir="./results",
-    eval_strategy="no", # Disabilita la valutazione durante l'addestramento
+    eval_strategy="no",
     learning_rate=2e-5,
     per_device_train_batch_size=4,
     num_train_epochs=3,
     weight_decay=0.01,
+    fp16=torch.cuda.is_available(), # Usa mixed precision se GPU è disponibile
 )
 
 # Inizializza il Trainer
@@ -52,21 +55,9 @@ trainer = Trainer(
 trainer.train()
 trainer.push_to_hub("testA")
 
-# Funzione di Gradio per effettuare previsioni
-#def answer_question(question):
-#    inputs = tokenizer(question, return_tensors="pt", padding="max_length", truncation=True, max_length=128)
-#    outputs = model.generate(inputs["input_ids"], max_length=50)
-#    answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
-#    return answer
-#
-## Interfaccia Gradio
-#iface = gr.Interface(fn=answer_question, inputs="text", outputs="text")
-#iface.launch()
-
-
 def answer_question(question):
-    inputs = tokenizer(question, return_tensors="pt", padding="max_length", truncation=True, max_length=128)
-    outputs = model.generate(inputs["input_ids"], max_length=50)
+    inputs = tokenizer(question, return_tensors="pt", truncation=True, max_length=128).to(device)
+    outputs = model.generate(inputs["input_ids"], max_length=50, pad_token_id=tokenizer.eos_token_id)
     answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
     return answer
 

data.jsonl

@@ -1,11 +1,11 @@
-{"question":"Qual è il nome del mio cane?","answer":"Si chiama Lucky"}
-{"question":"Cos'è FalconScript?","answer":"FalconScript è un linguaggio di programmazione immaginario progettato per lo sviluppo rapido di applicazioni di intelligenza artificiale su sistemi embedded."}
-{"question":"Quali sono le caratteristiche principali di FalconScript?","answer":"Le caratteristiche principali includono la sintassi simile a Python, ottimizzazioni per l'uso su dispositivi con risorse limitate, e una libreria nativa di funzioni AI."}
-{"question":"Come si dichiara una variabile in FalconScript?","answer":"In FalconScript, puoi dichiarare una variabile usando la parola chiave 'let'. Esempio: let x = 10."}
-{"question":"FalconScript supporta il multithreading?","answer":"Sì, FalconScript include un sistema di gestione dei thread che permette l'esecuzione parallela di operazioni."}
-{"question":"Qual è il comando per eseguire uno script in FalconScript?","answer":"Il comando per eseguire uno script è 'falcon run <nome_script>'."}
-{"question":"FalconScript è un linguaggio a tipizzazione statica?","answer":"No, FalconScript è un linguaggio a tipizzazione dinamica, simile a Python."}
-{"question":"Quali tipi di dati sono supportati in FalconScript?","answer":"FalconScript supporta i tipi di dati comuni come integer, float, string, boolean, array e oggetti."}
-{"question":"FalconScript supporta la programmazione funzionale?","answer":"Sì, FalconScript supporta paradigmi funzionali come map, filter e reduce, grazie alla sua libreria standard."}
-{"question":"Come si definisce una funzione in FalconScript?","answer":"Per definire una funzione, usa la parola chiave 'function', seguita dal nome della funzione e le parentesi. Esempio: function saluta() { print('Ciao!') }"}
-{"question":"Esistono librerie esterne in FalconScript?","answer":"Sì, FalconScript ha una gestione pacchetti nativa chiamata 'FalconNest' che permette di scaricare e utilizzare librerie esterne."}
+{"text": "Qual è il nome del mio cane? Si chiama Lucky"}
+{"text": "Cos'è FalconScript? FalconScript è un linguaggio di programmazione immaginario progettato per lo sviluppo rapido di applicazioni di intelligenza artificiale su sistemi embedded."}
+{"text": "Quali sono le caratteristiche principali di FalconScript? Le caratteristiche principali includono la sintassi simile a Python, ottimizzazioni per l'uso su dispositivi con risorse limitate, e una libreria nativa di funzioni AI."}
+{"text": "Come si dichiara una variabile in FalconScript? In FalconScript, puoi dichiarare una variabile usando la parola chiave 'let'. Esempio: let x = 10."}
+{"text": "FalconScript supporta il multithreading? Sì, FalconScript include un sistema di gestione dei thread che permette l'esecuzione parallela di operazioni."}
+{"text": "Qual è il comando per eseguire uno script in FalconScript? Il comando per eseguire uno script è 'falcon run <nome_script>'."}
+{"text": "FalconScript è un linguaggio a tipizzazione statica? No, FalconScript è un linguaggio a tipizzazione dinamica, simile a Python."}
+{"text": "Quali tipi di dati sono supportati in FalconScript? FalconScript supporta i tipi di dati comuni come integer, float, string, boolean, array e oggetti."}
+{"text": "FalconScript supporta la programmazione funzionale? Sì, FalconScript supporta paradigmi funzionali come map, filter e reduce, grazie alla sua libreria standard."}
+{"text": "Come si definisce una funzione in FalconScript? Per definire una funzione, usa la parola chiave 'function', seguita dal nome della funzione e le parentesi. Esempio: function saluta() { print('Ciao!') }"}
+{"text": "Esistono librerie esterne in FalconScript? Sì, FalconScript ha una gestione pacchetti nativa chiamata 'FalconNest' che permette di scaricare e utilizzare librerie esterne."}