Daniel00611 commited on
Commit
b74485d
1 Parent(s): 20a9559
.env ADDED
@@ -0,0 +1 @@
 
 
1
+ OPENAI_API_KEY = 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
.gitattributes CHANGED
@@ -33,3 +33,4 @@ saved_model/**/* filter=lfs diff=lfs merge=lfs -text
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
 
 
33
  *.zip filter=lfs diff=lfs merge=lfs -text
34
  *.zst filter=lfs diff=lfs merge=lfs -text
35
  *tfevents* filter=lfs diff=lfs merge=lfs -text
36
+ chroma_db/chroma.sqlite3 filter=lfs diff=lfs merge=lfs -text
app.py CHANGED
@@ -1,64 +1,98 @@
1
  import gradio as gr
2
  from huggingface_hub import InferenceClient
 
 
 
 
 
3
 
4
- """
5
- For more information on `huggingface_hub` Inference API support, please check the docs: https://huggingface.co/docs/huggingface_hub/v0.22.2/en/guides/inference
6
- """
7
- client = InferenceClient("HuggingFaceH4/zephyr-7b-beta")
8
 
 
 
9
 
10
- def respond(
11
- message,
12
- history: list[tuple[str, str]],
13
- system_message,
14
- max_tokens,
15
- temperature,
16
- top_p,
17
- ):
18
- messages = [{"role": "system", "content": system_message}]
19
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
20
  for val in history:
21
  if val[0]:
22
  messages.append({"role": "user", "content": val[0]})
23
  if val[1]:
24
  messages.append({"role": "assistant", "content": val[1]})
25
 
 
26
  messages.append({"role": "user", "content": message})
27
 
28
- response = ""
29
-
30
- for message in client.chat_completion(
31
- messages,
32
  max_tokens=max_tokens,
33
  stream=True,
34
  temperature=temperature,
35
  top_p=top_p,
36
- ):
37
- token = message.choices[0].delta.content
38
 
39
- response += token
40
- yield response
 
 
 
41
 
42
 
43
- """
44
- For information on how to customize the ChatInterface, peruse the gradio docs: https://www.gradio.app/docs/chatinterface
45
- """
46
  demo = gr.ChatInterface(
47
  respond,
48
  additional_inputs=[
49
- gr.Textbox(value="You are a friendly Chatbot.", label="System message"),
 
 
 
 
 
 
 
 
 
 
50
  gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
51
  gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
52
- gr.Slider(
53
- minimum=0.1,
54
- maximum=1.0,
55
- value=0.95,
56
- step=0.05,
57
- label="Top-p (nucleus sampling)",
58
- ),
59
  ],
60
  )
61
 
62
-
63
  if __name__ == "__main__":
64
  demo.launch()
 
1
  import gradio as gr
2
  from huggingface_hub import InferenceClient
3
+ import chromadb
4
+ from langchain_community.vectorstores import Chroma
5
+ from langchain_openai import OpenAIEmbeddings
6
+ import os
7
+ from openai import OpenAI
8
 
9
+ # Configurar la API Key de OpenAI
10
+ OPENAI_API_KEY = os.getenv("OPENAI_API_KEY")
 
 
11
 
12
+ # Inicializar el cliente de OpenAI
13
+ client = OpenAI(api_key=OPENAI_API_KEY)
14
 
15
+ # Inicializar el cliente de ChromaDB
16
+ chroma_client = chromadb.PersistentClient(path="chroma_db") # Ajusta la ruta seg煤n tu entorno
 
 
 
 
 
 
 
17
 
18
+ # Cargar la base de datos de Chroma como un vector store
19
+ vectorstore = Chroma(
20
+ client=chroma_client,
21
+ collection_name="docs", # Nombre de la colecci贸n en Chroma
22
+ embedding_function=OpenAIEmbeddings(model="text-embedding-3-small", openai_api_key=OPENAI_API_KEY)
23
+ )
24
+
25
+ # Crear un retriever
26
+ retriever = vectorstore.as_retriever()
27
+
28
+ def obtener_extractos(pregunta):
29
+ """Recupera documentos relevantes desde ChromaDB."""
30
+ docs_relevantes = retriever.invoke(pregunta)
31
+ return "\n".join([doc.page_content for doc in docs_relevantes]) if docs_relevantes else "No se encontraron documentos relevantes."
32
+
33
+ def respond(message, history: list[tuple[str, str]], system_message, max_tokens, temperature, top_p):
34
+ """Genera una respuesta basada en el historial y documentos relevantes."""
35
+
36
+ # Obtener documentos relevantes desde ChromaDB
37
+ contexto = obtener_extractos(message)
38
+
39
+ # Construir el mensaje del sistema con el contexto directamente incluido
40
+ system_message_final = f"""{system_message}
41
+
42
+ Informaci贸n relevante extra铆da de los documentos, en caso de que estos documentos tenga la informacion que necesitas, no olvides tomar
43
+ el historial de conversacion con el usuario:
44
+ {contexto}
45
+ """
46
+
47
+ messages = [{"role": "system", "content": system_message_final}]
48
+
49
+ # Agregar historial del chat
50
  for val in history:
51
  if val[0]:
52
  messages.append({"role": "user", "content": val[0]})
53
  if val[1]:
54
  messages.append({"role": "assistant", "content": val[1]})
55
 
56
+ # Agregar la nueva pregunta del usuario
57
  messages.append({"role": "user", "content": message})
58
 
59
+ # Llamar a la API de OpenAI con streaming
60
+ stream = client.chat.completions.create(
61
+ model="gpt-4o-mini",
62
+ messages=messages,
63
  max_tokens=max_tokens,
64
  stream=True,
65
  temperature=temperature,
66
  top_p=top_p,
67
+ )
 
68
 
69
+ response = ""
70
+ for chunk in stream:
71
+ if chunk.choices and chunk.choices[0].delta.content:
72
+ response += chunk.choices[0].delta.content
73
+ yield response
74
 
75
 
76
+ # Configuraci贸n de la interfaz Gradio
 
 
77
  demo = gr.ChatInterface(
78
  respond,
79
  additional_inputs=[
80
+ gr.Textbox(value=f'''Eres un asistente virtual especializado en atenci贸n al cliente para la empresa Wisphub. Tu objetivo es ayudar a los clientes a resolver 煤nicamente problemas t茅cnicos relacionados con la plataforma Wisphub.
81
+ Todas tus respuestas deben basarse exclusivamente en la informaci贸n proporcionada en el siguiente manual de usuario.
82
+
83
+ - Incluye en todas tus respuestas el una imagen y el url del manual relacionada a lo que pregunto el usuario, para ello usaras los urls que contiene el manual de usuario, muestra la imagen usando la sintaxis de Markdown sin bloque de c贸digo.
84
+
85
+ ![Descripci贸n de la imagen](URL_de_la_imagen)
86
+
87
+ Si tampoco encuentras informaci贸n relevante, indica que no puedes proporcionar detalles adicionales y sugiere al usuario contactar con el soporte t茅cnico oficial de Wisphub.
88
+
89
+ - Aseg煤rate de que tus respuestas sean claras y f谩ciles de entender para usuarios sin conocimientos t茅cnicos.''',
90
+ label="System message"),
91
  gr.Slider(minimum=1, maximum=2048, value=512, step=1, label="Max new tokens"),
92
  gr.Slider(minimum=0.1, maximum=4.0, value=0.7, step=0.1, label="Temperature"),
93
+ gr.Slider(minimum=0.1, maximum=1.0, value=0.95, step=0.05, label="Top-p (nucleus sampling)"),
 
 
 
 
 
 
94
  ],
95
  )
96
 
 
97
  if __name__ == "__main__":
98
  demo.launch()
chroma_db/778e608d-8875-4987-8768-0c2ed73da1e0/data_level0.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f18abd8c514282db82706e52b0a33ed659cd534e925a6f149deb7af9ce34bd8e
3
+ size 6284000
chroma_db/778e608d-8875-4987-8768-0c2ed73da1e0/header.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:effaa959ce2b30070fdafc2fe82096fc46e4ee7561b75920dd3ce43d09679b21
3
+ size 100
chroma_db/778e608d-8875-4987-8768-0c2ed73da1e0/length.bin ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:5acfa41a9734c8d28aa385e1c766c48228ee6a546c2a0c636727424c2ce2aacb
3
+ size 4000
chroma_db/778e608d-8875-4987-8768-0c2ed73da1e0/link_lists.bin ADDED
File without changes
chroma_db/chroma.sqlite3 ADDED
@@ -0,0 +1,3 @@
 
 
 
 
1
+ version https://git-lfs.github.com/spec/v1
2
+ oid sha256:f994e080cd08948fb7c701e630abf77652f76d82ef06fd6f3742f76844d691ba
3
+ size 22470656
requirements.txt CHANGED
@@ -1 +1,4 @@
1
- huggingface_hub==0.25.2
 
 
 
 
1
+ huggingface_hub==0.25.2
2
+ tiktoken
3
+ chromadb
4
+ langchain-community