Spaces:
Sleeping
AI ์ถ์ฒ ๋ก์ง ์์ธ ํด๋ถ
์ด ์์คํ ์ 12๋ง์ฌ ๊ฐ์ ํ์ ๋ ์ํผ ๋ฐ์ดํฐ๋ฅผ ํ์ตํ AI๊ฐ ์ฌ๋ฃ์ ์๋ฏธ์ ๋ฌธ๋งฅ์ ๋ถ์ํฉ๋๋ค. ๋จ์ํ ์ด๋ฆ์ด ๋น์ทํ ์ฌ๋ฃ๊ฐ ์๋, '์ง๊ธ ์ด ์๋ฆฌ์ ๊ฐ์ฅ ์ ์ด์ธ๋ฆฌ๋' ์ต์ ์ ๋์์ ์ฐพ์๋ด๋ ๊ณผ์ ์ ๋๋ค.
๐ก AI๋ ์ฌ๋ฃ๋ฅผ ์ด๋ป๊ฒ ์ดํดํ ๊น์? (3์ฐจ์ ๋ฒกํฐ ๊ณต๊ฐ ์์)
AI๋ ๋ชจ๋ ์์ฌ๋ฃ๋ฅผ ๊ฑฐ๋ํ 3์ฐจ์ ๊ณต๊ฐ(์ค์ ๋ก๋ ์๋ฐฑ ์ฐจ์) ์์ **'์ขํ(๋ฒกํฐ)'**๋ก ์ธ์ํฉ๋๋ค.
- ์ ์ฌ๋๊ฐ ๋๋ค๋ ๋ป: ์ด ๊ณต๊ฐ์์ ๋ ์ฌ๋ฃ์ ์ขํ๊ฐ ์๋ก ๊ฐ๊น์ด ์์น์ ๋ชจ์ฌ ์๊ฑฐ๋, ์์ ์์ ๋ป์ด๋๊ฐ๋ ํ์ดํ์ ๋ฐฉํฅ์ด ๋น์ทํ๋ค๋ ์๋ฏธ์ ๋๋ค.
์ ๊ทธ๋ฆผ์ฒ๋ผ '๋ผ์ง๊ณ ๊ธฐ'์ '์๊ณ ๊ธฐ'๋ '์ก๋ฅ'๋ผ๋ ๋น์ทํ ์ฑ์ง์ ๊ฐ์ ธ ๊ณต๊ฐ์์์ ๊ฐ๊น์ด ์์น์ ๋ชจ์ฌ ์์ต๋๋ค. ๋ฐ๋ฉด, '์ฌ๊ณผ'๋ ์ฑ์ง์ด ๋ค๋ฅด๊ธฐ ๋๋ฌธ์ ๋ฉ๋ฆฌ ๋จ์ด์ ธ ์์ต๋๋ค. AI๋ ์ด **'๊ฑฐ๋ฆฌ์ ๋ฐฉํฅ์ ๋ฉ๊ณผ ๊ฐ๊น์'**์ ๊ณ์ฐํ์ฌ ์ถ์ฒ์ ํ์ฉํฉ๋๋ค.
1๋จ๊ณ. ์๋ฏธ ํ์ (Word2Vec): "์น๊ตฌ๋ฅผ ๋ณด๋ฉด ๋๋ฅผ ์ ์ ์์ด"
- ํต์ฌ ์๋ฆฌ: AI๋ ์ฌ๋ฃ์ ๋ง์ด๋ ์๊ฐ์ ์ง์ ์์ง ๋ชปํฉ๋๋ค. ๋์ **'ํจ๊ป ์์ฃผ ์ฐ์ด๋ ์ฃผ๋ณ ์ฌ๋ฃ(๋ฌธ๋งฅ)'**๊ฐ ๋น์ทํ ์๋ก ์ ์ฌํ ์ญํ ์ ํ๋ ์ฌ๋ฃ๋ก ํ์ตํฉ๋๋ค.
- ์์ (ํ๊ฒ ์ฌ๋ฃ: ๋ผ์ง๊ณ ๊ธฐ)
- ๋ผ์ง๊ณ ๊ธฐ์ ์น๊ตฌ๋ค: [๊ฐ์ฅ, ๋ง๋, ์ํ, ๊ณ ์ถ์ฅ, ๊น์น, ๋ณถ๊ธฐ]
- ๐ฅฉ ์๊ณ ๊ธฐ (์ ์ฌ๋ 0.85): [๊ฐ์ฅ, ๋ง๋, ์ํ, ์ฐธ๊ธฐ๋ฆ, ๋ถ๊ณ ๊ธฐ] โ ๊ฒน์น๋ ์น๊ตฌ๊ฐ ๋งค์ฐ ๋ง์ (๋น์ทํ ์ฌ๋ฃ!)
- ๐ ๊ณ ๋ฑ์ด (์ ์ฌ๋ 0.45): [๊ฐ์ฅ, ๋ง๋, ๋ฌด, ์๊ฐ, ๋น๋ฆฐ๋ด] โ ์ผ๋ถ ๊ฒน์น์ง๋ง, ๋ค๋ฅธ ์น๊ตฌ๋ค๋ ๋ง์ (์กฐ๊ธ ๋ค๋ฅธ ์ฌ๋ฃ)
- ๐ ์ฌ๊ณผ (์ ์ฌ๋ 0.10): [์คํ, ๋ง์๋ค์ฆ, ์๋ฌ๋, ์์นจ] โ ๊ฒน์น๋ ์น๊ตฌ๊ฐ ๊ฑฐ์ ์์ (์์ ํ ๋ค๋ฅธ ์ฌ๋ฃ)
2๋จ๊ณ. ๋ฌธ๋งฅ ์ดํด (Doc2Vec): "๊ฐ์ ์กฐ๋ฆฌ๋ฒ ์ํฉ์์์ ๊ถํฉ ํ์ "
- ํต์ฌ (์ฝ๋ ๊ตฌํ ๋ด์ฉ): ๋จ์ํ '์ด ์ฌ๋ฃ๊ฐ ์๋ฆฌ์ ์ด์ธ๋ฆฌ๋?'๋ฅผ ๋ณด๋ ๊ฒ์ด ์๋๋ผ, 'ํ์ฌ์ ์กฐ๋ฆฌ๋ฐฉ๋ฒ(์: ๋์ด๊ธฐ, ๋ณถ๊ธฐ)'๊ณผ ๋์ผํ ์ํฉ์์ ์ ์ด์ธ๋ฆฌ๋์ง๋ฅผ ํ๋จํฉ๋๋ค.
- ์๋ ์๋ฆฌ (Ver.1 DB ๋ชจ๋ ๊ธฐ์ค):
- ํ์ฌ ํ๊ฒ ์๋ฆฌ์ **'์กฐ๋ฆฌ๋ฐฉ๋ฒ'(์: ๋์ด๊ธฐ)**์ ํ์ธํฉ๋๋ค.
- ํ๋ณด ์ฌ๋ฃ๊ฐ ์ฌ์ฉ๋ ์๋ง์ ๋ ์ํผ ์ค, ๊ฐ์ ์กฐ๋ฆฌ๋ฐฉ๋ฒ('๋์ด๊ธฐ')์ด ์ฌ์ฉ๋ ๋ ์ํผ๋ค๋ง ๊ณจ๋ผ๋ ๋๋ค.
- ๊ณจ๋ผ๋ธ ๋ ์ํผ๋ค์ ์ขํ๊ฐ ํ์ฌ ํ๊ฒ ์๋ฆฌ์ ์ขํ์ ์ผ๋ง๋ ๊ฐ๊น์ด์ง ๋น๊ตํฉ๋๋ค.
- ์ ์ด๋ ๊ฒ ํ๋์? ๊ฐ์ ์ฌ๋ฃ๋ผ๋ '๋ณถ์ ๋'์ '๋์ผ ๋'์ ์ญํ ์ด ๋ค๋ฅด๊ธฐ ๋๋ฌธ์ ๋๋ค. ์กฐ๋ฆฌ๋ฒ ์กฐ๊ฑด์ ๊ฑธ์ด ๋ ์ ํํ ๋ฌธ๋งฅ ํ์ ์ ํฉ๋๋ค.
3๋จ๊ณ. ํต๊ณ์ ์ ํฉ์ฑ (Ver.1 DB ๋ชจ๋ ์ ์ฉ): "๋ฐ์ดํฐ ๊ฒ์ฆ (Lift)"
- ์ญํ : ์ค์ ๋ฐ์ดํฐ์์ ํด๋น ์ฌ๋ฃ๊ฐ ํน์ ์กฐ๋ฆฌ๋ฒ์ด๋ ์๋ฆฌ ์นดํ ๊ณ ๋ฆฌ์ '์ ๋ ' ๋ง์ด ์ฐ์ด๋์ง ๊ฒ์ฆํฉ๋๋ค. (์ฌ๊ธฐ์ ์นดํ ๊ณ ๋ฆฌ ์ ๋ณด๋ ํจ๊ป ํ์ฉ๋ฉ๋๋ค.)
- ํต์ฌ ๊ฐ๋ (Lift, ํฅ์๋): ํ๊ท ์ ์ธ ์ฌ์ฉ ํ๋ฅ ๋๋น, ํน์ ์กฐ๊ฑด์์ ์ฌ์ฉ ํ๋ฅ ์ด ์ผ๋ง๋ ๋์์ง๋์ง๋ฅผ ๋ด ๋๋ค. ๊ธฐ์ค๊ฐ์ 1์ ๋๋ค.
- ํ๋จ ๊ธฐ์ค:
- Lift > 1 (์ถ์ฒ): ํ๊ท ๋ณด๋ค ์ด ์กฐ๊ฑด์์ ๋ ์์ฃผ ์ฐ์ (๊ถํฉ์ด ์ข์)
- Lift โ 1 (๋ณดํต): ํ๊ท ์ ์ธ ์์ค์ผ๋ก ์ฐ์
- Lift < 1 (๋น์ถ์ฒ): ํ๊ท ๋ณด๋ค ์ด ์กฐ๊ฑด์์ ๋ ์ฐ์ (๊ถํฉ์ด ์ ์ข์)
- ์์ (์กฐ๋ฆฌ๋ฒ: ๋์ด๊ธฐ): ๋๋ถ(Lift > 1, ๋์ผ ๋ ํ์), ์์ถ(Lift < 1, ๋์ผ ๋ ์ ์)
๐ ์ถ์ฒ ์๊ณ ๋ฆฌ์ฆ ์ฌํ: ์ด๋ป๊ฒ ์ต์ ์ ์ฌ๋ฃ๋ฅผ ์ฐพ์๋ผ๊น?
1. ๋จ์ผ ์ฌ๋ฃ ๋์ฒด (Best N ์ฐพ๊ธฐ)
- ์ 1~3๋จ๊ณ ์ ์์ ๊ฐ์ค์น๋ฅผ ์ ์ฉํ ์ต์ข ์ข ํฉ ์ ์๋ฅผ ๊ณ์ฐํ๊ณ , ์ ์๊ฐ ๊ฐ์ฅ ๋์ ์์๋๋ก ์์ N๊ฐ์ ์ฌ๋ฃ๋ฅผ ์ถ์ฒํฉ๋๋ค.
2. ๋ค์ค ์ฌ๋ฃ ๋์ฒด (์ต์ ์กฐํฉ ์ฐพ๊ธฐ - ๋น ์์น)
- ์ฌ๋ฌ ์ฌ๋ฃ๋ฅผ ๋์์ ๋ฐ๊ฟ ๋๋ ๊ฒฝ์ฐ์ ์๊ฐ ํญ๋ฐ์ ์ผ๋ก ๋์ด๋ฉ๋๋ค. ์ด๋ ํจ์จ์ ์ธ ํ์์ ์ํด **'๋น ์์น(Beam Search)'**๋ฅผ ์ฌ์ฉํฉ๋๋ค.
- ์๋ ์๋ฆฌ (๋งค ๋จ๊ณ๋ง๋ค):
- ํ์ฌ๊น์ง ๊ตฌ์ฑ๋ ์กฐํฉ์ ์๋ก์ด ์ฌ๋ฃ ํ๋ณด๋ฅผ ํ๋์ฉ ์ถ๊ฐํด๋ด ๋๋ค.
- ์๋ก์ด ์กฐํฉ์ ์ ์๋ฅผ ๊ณ์ฐํฉ๋๋ค. (์ ์ = ํ์ฌ๊น์ง์ ์ ์ + ์ ์ฌ๋ฃ์ AI ์ ์)
- ๋ชจ๋ ํ๋ณด ์กฐํฉ ์ค ์ ์๊ฐ ๊ฐ์ฅ ๋์ ์์ K๊ฐ(Beam Width)์ ์กฐํฉ๋ง ๋จ๊ธฐ๊ณ ๋๋จธ์ง๋ ๋ฒ๋ฆฝ๋๋ค.
- ์ด ๊ณผ์ ์ ๋ชฉํํ ์ฌ๋ฃ ์๋งํผ ๋ฐ๋ณตํ์ฌ ์ต์ข
์ ์ผ๋ก ๊ฐ์ฅ ์ข์ ์กฐํฉ์ ์ฐพ์๋
๋๋ค.
๐ก ๋น์ : ์ด๋์ด ์ฒ์์์ ๋ณด๋ฌผ์ ์ฐพ์ ๋, ์ฌ๋ฌ ๊ฐ๋ ๊ธธ ์ค ๊ฐ์ฅ ๋ฐ์ ๋น์ด ๋น์ถ๋ ๊ธธ 3๊ณณ(K=3)๋ง ๊ณจ๋ผ์ ๊ณ์ ๋ฐ๋ผ๊ฐ๋ ๊ฒ๊ณผ ๊ฐ์ต๋๋ค.
๐ ์ต์ข ์ข ํฉ ์ ์ ๊ณ์ฐ ์์ (๊ฐ์ค์น ์ ์ฉ)
(์๋๋ฆฌ์ค: ๊น์น์ฐ๊ฐ(๋์ด๊ธฐ, ๊ตญ/ํ)์์ '๋ผ์ง๊ณ ๊ธฐ' ๋์ '์ฐธ์น์บ' ์ถ์ฒ ์)
- 1. ์๋ฏธ ์ ์: 0.70 ร ๊ฐ์ค์น 5.0 = 3.50
- 2. ๋ฌธ๋งฅ ์ ์: 0.95 ร ๊ฐ์ค์น 1.0 = 0.95 (๊ฐ์ '๋์ด๊ธฐ' ์๋ฆฌ๋ค๊ณผ ๋น๊ต)
- 3. ์กฐ๋ฆฌ ํต๊ณ: 0.90 ร ๊ฐ์ค์น 1.0 = 0.90 ('๋์ด๊ธฐ' ๋ฐ์ดํฐ ๊ฒ์ฆ)
- 4. ๋ถ๋ฅ ํต๊ณ: 0.85 ร ๊ฐ์ค์น 1.0 = 0.85 ('๊ตญ/ํ' ๋ฐ์ดํฐ ๊ฒ์ฆ)
๐ ์ด์ : 3.50 + 0.95 + 0.90 + 0.85 = 6.20 / (์ด ๊ฐ์ค์น 8.0) = ์ต์ข ์ ํฉ๋ 77.5%
๐ฐ ์์ ์๊ฐ ๋ณ๋ (๋ณ๋ ๊ณ์ฐ)
AI ์ ์์ ๋ณ๊ฐ๋ก ์ ๊ณต๋๋ ์ฐธ๊ณ ์ ๋ณด์ ๋๋ค. ์ค์๊ฐ ์ ํํ ์์ธ๊ฐ ์๋, **์ฌ์ ์ ์ ์๋ ์ฌ๋ฃ๋ณ ์๋์ ๊ฐ๊ฒฉ ๋ฑ๊ธ(1~5๋ฑ๊ธ)**์ ๊ธฐ์ค์ผ๋ก ๊ณ์ฐ๋ฉ๋๋ค.
- ์: ๋ผ์ง๊ณ ๊ธฐ(4๋ฑ๊ธ) โก๏ธ ๋๋ถ(2๋ฑ๊ธ) ๋์ฒด ์
4 - 2 = +2(๐ข ์ด +2๋จ๊ณ ์ ๊ฐ ์์)