async fixes

app.py

@@ -56,10 +56,10 @@ def upload_file():
 
 # Endpoint for uploading PDF and extracting text
 @app.route('/analize', methods=['POST'])
-def analize():
+async def analize():
     # Get the text data from the request
     text_data = request.json.get('text')
-    app_info = llm.getApplicationInfo(text_data)
+    app_info = await llm.getApplicationInfo(text_data)
     result = {
         "application": app_info,
         "debug": {}

lib/llm_3_deepinfra.py

@@ -99,7 +99,7 @@ def create_headers():
     headers["Authorization"] = os.getenv("DEEPINFRA_API_KEY", None)    
     return headers
     
-def create_messages(self, prompt, system_prompt = None):
+def create_messages(prompt, system_prompt = None):
     messages = []
     
     if system_prompt is not None:
@@ -107,7 +107,7 @@ def create_messages(self, prompt, system_prompt = None):
     messages.append({"role": "user", "content": prompt})
     return messages
     
-def create_request(self, prompt, system_prompt = None):        
+def create_request(prompt, system_prompt = None):        
     request = {
         "stream": False,
         "model": os.getenv("DEEPINFRA_MODEL", "meta-llama/Llama-3.3-70B-Instruct-Turbo"),
@@ -129,7 +129,7 @@ async def getResponse(prompt):
     }
     
     async with httpx.AsyncClient() as client:
-        request = create_request(prompt, system_prompt)
+        request = create_request(None, prompt, system_prompt=None)
         response = await client.post(f"https://api.deepinfra.com/v1/openai/chat/completions", headers=create_headers(), json=request, timeout=httpx.Timeout(connect=5.0, read=60.0, write=180, pool=10))
         if response.status_code == 200:
             return response.json()["choices"][0]["message"]["content"]
@@ -137,10 +137,10 @@ async def getResponse(prompt):
             logging.error(f"Request failed: status code {response.status_code}")
             logging.error(response.text)
 
-def getCategoryFromLLM(prompt, categories) :
+async def getCategoryFromLLM(prompt, categories) :
     category = ''
     for j in range(5) :
-        result = getResponse(prompt)
+        result = await getResponse(prompt)
         category = getCategory(result, categories)
         if category != '' :
             break
@@ -157,13 +157,13 @@ def getAccuracy(answers, trueanswers) :
 
     return count / len(trueanswers)
 
-def getAnswers(applications, prefix, categories, answers) :
+async def getAnswers(applications, prefix, categories, answers) :
     # print(categories)
     output = []
     for i in range(len(applications)) :
         text = applications[i]
         prompt = prefix + text
-        category, response = getCategoryFromLLM(prompt, categories)
+        category, response = await getCategoryFromLLM(prompt, categories)
         
         answer = ''
         for j in range(len(categories)) :
@@ -182,7 +182,7 @@ def getAnswers(applications, prefix, categories, answers) :
 
     return output
 
-def getSector(application) :
+async def getSector(application) :
 
     sectortext = ''
     for j in range(len(sectors)) :
@@ -210,14 +210,14 @@ def getSector(application) :
 # Список категорий: 
 # ''' + sectortext + 'Заявление: ' + application + '/INST'
     
-    sector, response = getCategoryFromLLM(prompt, sectors)
+    sector, response = await getCategoryFromLLM(prompt, sectors)
     
     if verbose :
         print(i, ':', sector)
 
     return sector
 
-def getProduct(application, sector) :
+async def getProduct(application, sector) :
     product = ''
     # sector = appsectors[i]
     if sector != '' :
@@ -235,14 +235,14 @@ def getProduct(application, sector) :
 Ты всегда используешь такой формат ответа: "название категории". \n\
 Список категорий:\n' + producttext + '\nЗаявление: ' + application
 
-        product, response = getCategoryFromLLM(prompt, subproducts)
+        product, response = await getCategoryFromLLM(prompt, subproducts)
         
         if verbose :
             print(product)
 
     return product
 
-def getProblem(application, sector, product) :
+async def getProblem(application, sector, product) :
     problem = ''
     if sector != '' and product != '':
         subpproblems = problems[sector][product]
@@ -259,14 +259,14 @@ def getProblem(application, sector, product) :
 Ты всегда используешь такой формат ответа: "название категории". \n\
 Список категорий:\n' + problemtext + '\nЗаявление: ' + application
     
-        problem, response = getCategoryFromLLM(prompt, subpproblems)
+        problem, response = await getCategoryFromLLM(prompt, subpproblems)
         
         if verbose :
             print(problem)
 
     return problem
 
-def getAuthor(application) :
+async def getAuthor(application) :
     prefix = '''Ты мой помощник. Ты отвечаешь только на РУССКОМ языке. Ты не отвечаешь на вопросы, не комментируешь, 
 не выражаешь эмоций, не выражаешь соображений по теме обращения. 
 Ты извлекаешь информацию из заявления. Ты отвечаешь на МОЙ вопрос: 
@@ -277,7 +277,7 @@ def getAuthor(application) :
 
     prompt = prefix + application
     # prompt = prefix + appdata.loc[i, 'Текст обращения обезличенный']
-    response = getResponse(prompt)
+    response = await getResponse(prompt)
     response = response.replace('.', '. ')
     name = 'не указан'
     if name not in response :
@@ -294,7 +294,7 @@ def getAuthor(application) :
         
     return name
 
-def checkContractNumber(application) :
+async def checkContractNumber(application) :
     categories = ['да', 'нет']
     answers = ['да', 'нет']
     
@@ -306,11 +306,11 @@ def checkContractNumber(application) :
 Ты не комментируешь, не объясняешь, не выражаешь мысли, вообще ничего больше не говоришь.
 Заявление: '''
 
-    ifcontract = getAnswers([application], prefix, categories, answers)
+    ifcontract = await getAnswers([application], prefix, categories, answers)
 
     return ifcontract[0]
 
-def checkIfIdentified(application) :
+async def checkIfIdentified(application) :
     сategories = ['нельзя', 'можно']
     answers = ['нет', 'да']
 
@@ -321,11 +321,11 @@ def checkIfIdentified(application) :
 Ты не комментируешь, не объясняешь, не выражаешь мысли, вообще ничего больше не говоришь. 
 Жалоба: '''
     
-    ifidentified = getAnswers([application], prefix, сategories, answers)
+    ifidentified = await getAnswers([application], prefix, сategories, answers)
 
     return ifidentified[0]
 
-def checkIfPerson(application) :
+async def checkIfPerson(application) :
     categories = ['физическое лицо', 'юридическое лицо']
     answers = ['Физ.лицо', 'Юр.лицо']
     
@@ -338,11 +338,11 @@ def checkIfPerson(application) :
 Ты не комментируешь, не обясняешь, не выражаешь мысли, вообще ничего больше не говоришь.
 Заявление: '''
     
-    ifperson = getAnswers([application], prefix, categories, answers)
+    ifperson = await getAnswers([application], prefix, categories, answers)
 
     return ifperson[0]
 
-def checkIfcomission(application) :
+async def checkIfcomission(application) :
     categories = ['не касается', 'касается']
     answers = ['нет', 'да']
     
@@ -354,11 +354,11 @@ def checkIfcomission(application) :
 Ты не комментируешь, не объясняешь, не выражаешь мысли, вообще ничего больше не говоришь.
 Заявление: '''
     
-    ifсomission = getAnswers([application], prefix, categories, answers)
+    ifсomission = await getAnswers([application], prefix, categories, answers)
 
     return ifсomission[0]
 
-def getContractData(application) :
+async def getContractData(application) :
     prefix = '''Ты мой помощник. Ты отвечаешь только на РУССКОМ языке. Ты не отвечаешь на вопросы, не комментируешь,
 не выражаешь эмоций, не выражаешь соображений по теме обращения.Ты выполняешь только эту задачу:
 ты извлекаешь из заявления только *номер ДОГОВОРА* и "дата ДОГОВОРА".
@@ -373,7 +373,7 @@ def getContractData(application) :
 Заявление: '''
 
     prompt = prefix + application
-    response = getResponse(prompt)
+    response = await getResponse(prompt)
     response = response.replace(';', '\n')
     response = response.replace('\\\\', '')
     l = response.split('\n')
@@ -394,7 +394,7 @@ def getContractData(application) :
         
     return result
     
-def getPersons(application) :
+async def getPersons(application) :
 #     prefix = '''Ты мой помощник. Ты отвечаешь только на РУССКОМ языке. Ты сортируешь заявления клиентов. Ты не отвечаешь на вопросы, не комментируешь,
 # не выражаешь эмоций, не выражаешь соображений по теме заявления. Ты извлекаешь ВСЕ персональные данные из заявлений. Ты не анализируешь. 
 # Ты выполняешь только эту задачу:
@@ -415,7 +415,7 @@ def getPersons(application) :
 
     prompt = prefix + application
     # prompt = prefix + appdata.loc[i, 'Текст обращения обезличенный']
-    response = getResponse(prompt)
+    response = await getResponse(prompt)
     response = response.replace('указаны.', 'указаны')
     response = response.replace('.', '. ')
     response = response.replace(';', '\n')
@@ -520,7 +520,7 @@ stoplist = ['микрофинансовые организации',
 'Страховщик',
 'Статьей 185']
 
-def getCompanies(application) :
+async def getCompanies(application) :
     prefix = '''Ты мой помощник. Ты отвечаешь только на РУССКОМ языке. Ты извлекаешь информацию из заявления.
 Ты не отвечаешь на вопросы, не комментируешь, не выражаешь эмоций, не выражаешь соображений по теме заявления. 
 Ты выполняешь только эту задачу: ты извлекаешь из заявления только *названия юридических ОРГАНИЗАЦИЙ*. 
@@ -538,7 +538,7 @@ def getCompanies(application) :
 Заявление: '''
 
     prompt = prefix + application
-    response = getResponse(prompt)
+    response = await getResponse(prompt)
     l = response.split('Организация: ')
     ll = []
     for i in range(len(l)) :
@@ -575,19 +575,19 @@ def getCompanies(application) :
         
     return result
     
-def getApplicationInfo(application) :
-    author = getAuthor(application)
-    persons = getPersons(application)
-    companies = getCompanies(application)
-    contractdata = getContractData(application)
-    sector = getSector(application)
-    product = getProduct(application, sector)
-    problem = getProblem(application, sector, product)
+async def getApplicationInfo(application) :
+    author = await getAuthor(application)
+    persons = await getPersons(application)
+    companies = await getCompanies(application)
+    contractdata = await getContractData(application)
+    sector = await getSector(application)
+    product = await getProduct(application, sector)
+    problem = await getProblem(application, sector, product)
     
-    ifcontract = checkContractNumber(application)
-    ifidentified = checkIfIdentified(application)
-    ifperson = checkIfPerson(application)
-    ifcomission = checkIfcomission(application)
+    ifcontract = await checkContractNumber(application)
+    ifidentified = await checkIfIdentified(application)
+    ifperson = await checkIfPerson(application)
+    ifcomission = await checkIfcomission(application)
     
     app_info = {}
     app_info['Заявитель'] = author
@@ -618,7 +618,6 @@ def getApplicationInfo(application) :
         print('Проблема', problem)
     
     return app_info
-
 # application = '''Я, Кристенгоф Оксана Михайловна, заключила кредитный договор с ПАО Камабанк № 59875 и № 456835645645654 
 # и договор на выдачу кредитной карты с ПАО "БСТ-Банк" №4567652124534235 и №4561254153412. 
 # 12.08.2020 года направила в банки заявление на истребование кредитной документации заказным письмом с уведомлением,