ArttuPakarinen/FIN-ai-chat-summarization.Q4_K_M.gguf

Full fine-tune on LumiOpen's viking 7B, 4bit kvantization - for testing.

Around 3-4 million tokens full fine tune to make the model produce summarization.

Around 2-6 hours of compute on A100 GPU.

Partial dataset provided on the model card - other datasets used were Diagsum and Samsum, which were autotranslated to finnish.

Model works fine for it's purpose, even in this low-parameter and low kvantization mode.

Model has been trained to start "first prompt" with "Ihminen aloittaa keskustelun AI-botin kanssa\n\n". I call this 'First summanry'. Without adding the first summanry, some weird behaviour may occur.

Examples

Example1

INPUT

Ihminen aloittaa keskustelun AI-botin kanssa.

Ihminen: Hei mitä kuuluu?

AI-botti: Hyvää kuuluu, kuinka voi palvellla?

###TIIVISTELMÄ###

OUTPUT

Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.

---

The idea is to summarize the chat context, and to be able to continue chatting, by using the produced summarization in the begigning of the next prompt.

---

Example2

INPUT

Ihminen ja AI-botti tervehtivät toisiaan ja AI-botti kysyy kuinka voi palvella.

Ihminen: Kuinka paljon ihmisiä Suomessa asuu?

AI-botti: Suomessa asuu n. 5,5 miljoonaa ihmistä.

###TIIVISTELMÄ###

OUTPUT

Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.

---

In theory, the model can be used to produce AI responses, but the model will always produce

###TIIVISTELMÄ###

<summarization>

This means, if you want to produce AI answer, it is completely possible by ending the prompt with "\nAI-botti: ", but you need to parse the summarization part away from the response.

---

Example3

INPUT

Ihminen ja AI-botti tervehtivät toisiaan, jonka jälkeen ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä.

Ihminen: Ahaa, mutta entäs Ruotsissa?

AI-botti: 

OUTPUT

Ruotsissa asuu lähes tuplasti väkeä Suomeen verrattuna, reilut 10 miljoonaa asukasta. 

###TIIVISTELMÄ###

Ihminen kysyy AI-botilta paljonko Suomessa asuu ihmisiä. AI-botti vastasi, että n. 5,5 miljoonaa ihmistä. Ihminen kysyi paljonko Ruotsissa asuu ihmisiä, johon AI-botti vastasi että lähes tuplasti Suomeen verrattuna, päälle 10 miljoonaa ihmistä.