LG Aimers 2

[Machine Learning] Bias & Variance

ML์— ๋Œ€ํ•œ ์ผ๋ฐ˜์  ์ •์˜ Model class๋ฅผ ์„ ํƒํ•œ ํ›„, ํ•™์Šต๋ฐ์ดํ„ฐ์— ๋Œ€ํ•ด ๋ชจ๋ธ์ด ์ž˜ ๋™์ž‘ํ•˜๋„๋ก ํŒŒ๋ผ๋ฏธํ„ฐ๋ฅผ ๊ฒฐ์ •ํ•ด์•ผ ํ•จ. ์ž˜ ๋™์ž‘ํ•˜๋ ค๋ฉด ์†์‹คํ•จ์ˆ˜๋ฅผ ์„ค์ •ํ•ด์•ผ ํ•œ๋‹ค. ์—ฌ๊ธฐ์„œ ์†์‹คํ•จ์ˆ˜๋ž€ ๋ชจ๋ธ์˜ ์˜ˆ์ธก๊ฐ’๊ณผ ์ •๋‹ต ๊ฐ’์ด ํ‹€๋ฆด ์ˆ˜๋ก ํฐ ๊ฐ’์„ ์ฃผ๋Š” ํ•จ์ˆ˜๋ฅผ ๋งํ•œ๋‹ค. squared loss๋ž€ ์˜ˆ์ธก๊ฐ’๊ณผ ์ •๋‹ต๊ฐ’์ด ํ‹€๋ฆด ์ˆ˜๋ก 2์ฐจ์˜ ํ•จ์ˆ˜๋กœ ํŒจ๋„ํ‹ฐ ์ฃผ๋Š” ์†์‹ค ํ•จ์ˆ˜๋ฅผ ๋งํ•˜๋ฉฐ, ์ด๋ฅผ ์ •์˜ํ•  ์ˆ˜ ์žˆ๋‹ค. classification์ด๋ž€ ์ด์ง„ ๋ถ„๋ฅ˜๋กœ loss๋ฅผ ๊ฒฐ์ •ํ•˜๋Š” ๊ฒƒ์œผ๋กœ, ๋งž์œผ๋ฉด 0, ํ‹€๋ฆฌ๋ฉด 1์„ ์ค€๋‹ค. ์ด๋ ‡๊ฒŒ loss funcion์„ ๊ฒฐ์ •ํ•˜๋ฉด ์ตœ์ ํ™” ๋ฌธ์ œ๋กœ ๊ฒฐ์ • ๊ฐ€๋Šฅ. ์ตœ์ข…์ ์œผ๋กœ ์†์‹ค์„ ์ตœ์†Œํ™”ํ•˜๋Š” w, b๋ฅผ ์ฐพ๊ณ  ์ผ๋ฐ˜ํ™”ํ•˜๋Š” ๊ฒƒ์ด ๋ชฉํ‘œ์ด๋‹ค. ์ผ๋ฐ˜ํ™” ์‚ฌ์†Œํ•œ ์˜ค๋ฅ˜์— ๊ณผํ•˜๊ฒŒ ์ ํ•ฉํ•˜๊ฒŒ ๋˜๋ฉด ์˜ค๋ฒ„ํ”ผํŒ…์ด ๋‚จ. ์ผ๋ฐ˜ํ™”๊ฐ€ ๋˜์ง€ ์•Š๋Š”๋‹ค๋Š” ๊ฒƒ์ด๋‹ค. ..

LG Aimers 2024.01.30

[Machine Learning] ML ๊ฐœ์š”

์ธ๊ณต์ง€๋Šฅ์˜ ํ•œ ๋ถ„์•ผ. ์ธ๊ณต์ง€๋Šฅ์—๋Š” ๊ธฐ๊ณ„ํ•™์Šต, ์ปดํ“จํ„ฐ ๋น„์ „, ์ž์–ธ์–ด์ฒ˜๋ฆฌ, ๋กœ๋ณดํ‹ฑ์Šค ๋“ฑ์ด ํฌํ•จ๋จ. ๋ฐ์ดํ„ฐ๋กœ๋ถ€ํ„ฐ ์Šค์Šค๋กœ ๋ฐœ์ „ํ•˜๋Š” ์•Œ๊ณ ๋ฆฌ์ฆ˜์„ ๋‹ค๋ฃจ๋Š” ํ•™๋ฌธ. ๋”ฅ๋Ÿฌ๋‹์€ ๊ธฐ๊ณ„ํ•™์Šต ์ค‘ ์‹ ๊ฒฝ๋ง ์ค‘ layer๊ฐ€ ๋งŽ์€ ์‹ ๊ฒฝ๋ง์„ ์“ฐ๋Š” ๋ถ„์•ผ. T = Task : ๊ธฐ๊ณ„ํ•™์Šต์œผ๋กœ ๋ฌด์—‡์„ ํ•  ๊ฒƒ์ธ์ง€ P = Performance measure : ์„ฑ๋Šฅ์ง€ํ‘œ๋Œ€๋กœ ํ‰๊ฐ€ํ•จ. ์–ด๋–ค ์„ฑ๋Šฅ์ง€ํ‘œ ์‚ฌ์šฉํ•  ๊ฒƒ์ธ์ง€. E = Experience -> ๋ฐ์ดํ„ฐ๋ฅผ ๋งํ•จ. ์–ด๋–ค ๋ฐ์ดํ„ฐ๋ฅผ ์‚ฌ์šฉํ•  ๊ฒƒ์ธ์ง€. ๊ธฐ๊ณ„ํ•™์Šต์˜ ๊ฐ€์žฅ ์ค‘์š”ํ•œ ๊ฐœ๋…๊ณผ ๋ชฉํ‘œ๋Š” ์ผ๋ฐ˜ํ™”. ์—ฌ๋Ÿฌ๊ฐ€์ง€๋ฅผ ๋ณด๊ณ  ์œ ์‚ฌ์„ฑ์„ ์ฐพ์•„๋‚ด์–ด ํ•˜๋‚˜์˜ ํ”„๋กœํ† ํƒ€์ž…์„ ๋งŒ๋“ค๊ณ  ์ผ๋ฐ˜ํ™”๋ฅผ ํ•จ. ์ถ”์ƒํ™” ๊ณผ์ •. ์ด๊ฒƒ์ด ๋” ๋ฐœ์ „ํ•ด์„œ Generative algorithem์ด ๋จ. Task์— ๋”ฐ๋ผ ํ•™์Šต ์•Œ๊ณ ๋ฆฌ์ฆ˜์ด ๋‹ฌ๋ผ์ง„๋‹ค. ๊ทธ๋ž˜์„œ ํ•˜๋‚˜์˜ ์•Œ๊ณ ๋ฆฌ..

LG Aimers 2024.01.16