240718 Today I Learn์คํํฌ์ ๊ธฐ๋ณธ ๊ตฌ์กฐLazy CompuationSpark๋ ๋ฐ๋ก๋ฐ๋ก ์ฃผ์ด์ง ๋ณํTransformation์ ์ํํ์ง ์๊ณ , ์ฌ๋ฌ ๋ณํ๋ค์ ์ฐจ๊ณก์ฐจ๊ณก ์์๋ ๋ค, ํ ๋ฒ์ ์ต์ ํํ์ฌ ์ํ๋ฏธ๋ฃจ์ด๋ ์ผ์ด ์์ธ ๊ฒ์ Lineage๋ผ๊ณ ํ๋๋ฐ, ์ ์ฒด ๋ณํ์ ๋ณด๊ณ ์ค๊ฐ์ ํ์์๋ ์ฐ์ฐ์ ์ ๊ฑฐํ๊ธฐ ์ํด ๊ณ ์์ ์ผ๋ก ์ด๋ฌํ ์ง์ฐ์ ๋ง๋๋ ๊ฒ์ด๋ค.๋ณํ์ด ์์ธ Lineage๋ฅผ ์ํํ๋๋ก ๊ตฌ๋Triggerํ๋ ์์
๋ค์ Action์ด๋ผ๊ณ ํจ.→ count, collect, take, top, show, write, toDF ๋ฑ๋ถ์ฐ์ฒ๋ฆฌ์ PartitionPartition : ๋ชจ๋ executer๊ฐ ๋ณ๋ ฌ๋ก ์ผํ ์ ์๋๋ก ์ชผ๊ฐ ๋ฐ์ดํฐ์ ๋จ์ํํฐ์
์ ์ง์ ์กฐ์ํด ์ํ๋ ๋ฐ์ดํฐ๋ฅผ ํํฐ์
์ ๊ฐ์ ๋ก ๋ฐฐ์ ํ ..
240718 Today I Learn์งํ๋ฅผ ์ ์์์ผ ํ ๊น?๋ฐ์ดํฐ ๋ถ์๊ฐ๋ ๊ฐ๊ด์ ์ผ๋ก ๋ฐ์ดํฐ์ ์ํฉ์ ์ค๋ช
ํ๊ธฐ ์ํด ์์น๋ก ๋ ์๋ฃ๋ฅผ ๋ง์ด ์ฌ์ฉํ๊ฒ ๋๊ณ , ์ด๋ ๊ณง ์งํ(= ์ ๋์ ๋ฐ์ดํฐ)์ด๊ธฐ ๋๋ฌธ์ด๋ค. ๋ฐ์ดํฐ ๋ถ์๊ฐ๋ ๋ฌธ์ ๊ฐ ์๊ธฐ๋ฉด ๋ชฉ์ ์ ๋ง๋ ์งํ๋ฅผ ์ ์ํ๊ณ ๋ง๋ค์ด๋ธ ์์น๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ํด์ํ๊ณ ์ ๋ฌํ๋ ์
๋ฌด๋ฅผ ์งํํ๊ฒ ๋๋ค. ์ด๋ ๊ฒ ๋ง๋ค์ด์ง ์งํ๋ค์ ๋ชจ์์ ํด๋น ๋ฐ์ดํฐ๋ฅผ ํ์ํ ๋ ์ฆ์ ํ์ฉํด์ผํ๊ณ ์ง์์ ์ธ ํ์ฉ์ด ํ์ํ ๊ฒฝ์ฐ ๋์๋ณด๋๋ฅผ ์ ์ํ๊ฒ ๋จ.๋น์ฆ๋์ค ๋ชจ๋ธ๊ณผ ๋ฐ์ดํฐ ๋ฒ ์ด์ค๋ฐ์ดํฐ ๋ถ์๊ฐ๋ ์ด๋์ ๋๋ก ๋น์ฆ๋์ค ๋ชจ๋ธ์ ์ดํดํด์ผ ํ ๊น?์ ์ฒด์ ์ธ ๊ตฌ์กฐ๋ฅผ ์ดํด : ๋ฐ์ดํฐ์ ํ๋ฆ๊ณผ ๋ฐ์ดํฐ ๋ถ์์ด ๊ฐ์
ํ ์ ์๋ ์ง์ ์ ๋ํ ๋ถ๋ถ์ ์ ์ ์๋ค.๋ค์ํ ๋น์ฆ๋์ค ๋ชจ๋ธ์ ๋ํด ์์๋ณด๋ฉฐ ๋ ๋ค๋ฅธ ๊ธฐํ๋ฅผ ์ฐฝ์ถํ ์ ์..
240717 Today I Learn๋ณ๋ ฌ์ฒ๋ฆฌ์ ๋ถ์ฐ์ฒ๋ฆฌ๋ณ๋ ฌ์ฒ๋ฆฌ vs. ๋ถ์ฐ์ฒ๋ฆฌ๋ณ๋ ฌ์ฒ๋ฆฌ : ์ฌ๋ฌ๊ฐ์ core์์ ๋์ ๋ค๋ฐ์ ์ผ๋ก ์ผ์ ๋๋์ด์ ์ฒ๋ฆฌMultiprocessing์ด๋ joblib์ด ํํ ์ฌ์ฉ.sklearn์ njobs๊ฐ ์ด๋ฅผ ์ ์ดํ๋ ๊ธฐ๋ฅ.๋ถ์ฐ์ฒ๋ฆฌ : ๋คํธ์ํฌ๋ฅผ ํตํด ์ฐ๊ฒฐ๋ ์ฌ๋ฌ ๋์ ์ปดํจํฐ(๋
ธ๋)๊ฐ ๊ฐ๊ฐ์ ์์
์ ์ํํ๋ ๊ฒSpark๋ฅผ ํฌํจํด Ray, Dask ๋ฑ์ ๋ผ์ด๋ธ๋ฌ๋ฆฌ๋ฅผ ์ฌ์ฉํ ์ ์์.๋ณ๋ ฌ ์ฒ๋ฆฌ vs Vectorize๐ก ํ ๊ธฐ๊ธฐ์ ๋ฉ๋ชจ๋ฆฌ ์์์ ์ฒ๋ฆฌ๊ฐ ๊ฐ๋ฅํ ๊ท๋ชจ๋ผ๋ฉด, ๊ตณ์ด Spark๋ฅผ ์ฌ์ฉํ๋ ๊ฒ๋ณด๋ค๋ ์ฐ์ฐ์ ์ต์ ํํ๋ ๊ฒ์ด ๋ ๋ซ๋ค.Numpy(Pandas ํฌํจ)๋ ๋ฒกํฐํ ์ฐ์ฐ์ ํตํด ๋จ์ ๋ฐ๋ณต์์
์ ๊ต์ฅํ ๋น ๋ฅด๊ฒ ์ฒ๋ฆฌํ ์ ์์.์คํํฌ์์๋ ๊ฐ๋ณ ๋จธ์ ์ ๋ฒกํฐํ๋ฅผ ์ํํ์ฌ ์๋๋ฅผ..
240715 Today I Learn์คํํฌ๋?๐ฅ Spark?SQL, ์คํธ๋ฆฌ๋ฐ, ๋จธ์ ๋ฌ๋ ๋ฐ ๊ทธ๋ํ ์ฒ๋ฆฌ๋ฅผ ์ํ ๊ธฐ๋ณธ ์ ๊ณต ๋ชจ๋์ด ์๋ ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ฉ ํตํฉ ๋ถ์ ์์ง. ํด๋ผ์ฐ๋์ Apache Hadoop, Apache Mesos, Kubernetes์์ ์์ฒด์ ์ผ๋ก ์คํ๋ ์ ์์ผ๋ฉฐ ๋ค์ํ ๋ฐ์ดํฐ ์์ค์ ๋ํด ์คํ๋ ์ ์์.→ ๋์ฉ๋ ๋ฐ์ดํฐ๋ฅผ ๋ค๋ฃจ๋ ๊ฒ์ ํนํ๋ ํ๋ ์ ์ํฌํ์ด์ฌ๊ณผ ๋ฐ์ดํฐ๋ฉ๋ชจ๋ฆฌ RAM = ์์
๊ณต๊ฐ๊ธฐ์ต๋ ์ ๋ณด๋ฅผ ์ฝ์ด๋ด๊ธฐ๋ ํ๊ณ ๋ค๋ฅธ ์ ๋ณด๋ฅผ ๊ธฐ์ต์ํฌ ์๋ ์๋ ๋ฉ๋ชจ๋ฆฌ๋ก์, ์ปดํจํฐ์ ์ฃผ๊ธฐ์ต์ฅ์น, ์์ฉ ํ๋ก๊ทธ๋จ์ ์ผ์์ ๋ก๋ฉ(loading), ๋ฐ์ดํฐ์ ์ผ์์ ์ ์ฅ ๋ฑ์ ์ฌ์ฉ๋จ.์ปดํจํฐ๋ฅผ ๋๋ฉด RAM์ ์ฌ๋ผ๊ฐ ๋ฐ์ดํฐ๋ ์ญ์ SSD = ์ ์ฅ ๊ณต๊ฐ์ฅ๊ธฐ์ ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ๋ณด๊ด(์ ์ฅ)ํ๋ ๊ณต๊ฐ์ปดํจํฐ..
240702 Today I Learn์ํฌ ์ํธ์ ์ฌ๋ฌ ์ธก์ ๊ฐ ํ์ฉํ๊ธฐ์ธก์ ๊ฐ ์ง๋ ฌ ๋ฐฐ์น์ธก์ ๊ฐ์ ๋จ์ํ๊ฒ ํ์ ์ฌ๋ฌ ๊ฐ ์ถ๊ฐํ๋ ๋ฐฉ๋ฒ ๊ฐ๊ฐ์ ์ธก์ ๊ฐ์ ๋ค๋ฅธ ์ฐจํธ ํ์๊ณผ ๋งํฌ ์์์ ์ ์ฉํ ์ ์์.์ด์ค์ถ ํ์ฉ์ด์ค์ถ ์ฐจํธ๋ ๋ค๋ฅธ ์ ํ์ ์ธก์ ๊ฐ์ ํ๋์ ์ฐจํธ๋ก ์ฌ์ฉํ๊ธฐ ์ํด์ ์ฌ์ฉ๋๋ค.ํ์ฉ ๋ฐฉ๋ฒ : ๋ฐ+๊บพ์์ ๊ทธ๋ํ, ๋๋ ์ฐจํธ์ถ๊ฐ์ ์ธ ์ถ ํ์ฉ์ฐจ์ ๋จธ๋ฆฌ๊ธ ํ์ฉ๋ณ์นญ ํธ์ง: ๋ฐ์ดํฐ์ ์๋ ๋ช
์นญ ์ธ์ ๋ค๋ฅธ ์ด๋ฆ์ ๋ถ์ฌํ๊ณ ์ถ์ ๋ ์ฌ์ฉ→ ์ธก์ ๊ฐ ์ด๋ฆ์ด ๋๋ฌด ๊ธธ๋ฉด ๋ณ์นญ ํธ์ง์ผ๋ก ์์ ํ ์ ์์.๋ ์ด๋ธ ํ์ ์ ์ฃผ๋ก ๊ณต๊ฐ ๋๋ฌธ์ ๋ฌธ์๊ฐ ์ธ๋ก๋ก ํ์๋ ๋ ๊ฐ๋ก๋ก ์ ํํ๊ธฐ ์ํด ์ฌ์ฉ์ธก์ ๊ฐ ์ถ ํ์ฉ์ธก์ ๊ฐ์ ์ถ ํธ์ง์ ํตํด ๋ฒ์๋ฅผ ์ง์ ํ ์ ์์→ ์ธก์ ๊ฐ ์์ ๋ฌถ์ฌ ์์ ๋ ์ถ์ ๋์ผํ ๋ฒ์๋ก ๋ง๋ค๊ฑฐ๋ ๋
๋ฆฝ์ ์ธ ์ถ ๋ฒ์๋ฅผ ๋ถ์ฌํ ..
240702 Today I Learn๋ฌธ์ ์ํฉ๐ ์ฃผ์ ์งํ(์์ต, ๋งค์ถ, ์์ต๋ฅ , ์ฃผ๋ฌธ์, ๊ณ ๊ฐ์)์ MoM์ ๋ํ๋ด๋ ์ฐจํธ๋ฅผ ๊ทธ๋ ค๋ผ.์ฐ์ ์ฐ๋ฆฌ๊ฐ ์๊ฐํ ์ ์๋ ๊ฐ์ฅ ๊ฐ๋จํ ๋ฐฉ๋ฒ์ธ, ๋ชจ๋ ์งํ๋ฅผ ์ธก์ ๊ฐ์ผ๋ก ๊ฐ๊ฐ ์ถ๊ฐํด ์งํ์ ๊ฐ์๋งํผ์ ์ฐจํธ๋ฅผ ํ๋์ ๊ทธ๋ํ์ ๋ํ๋ด๋ ๋ฐฉ๋ฒ์ด ์๋ค. ์ด ๋ฐฉ๋ฒ์ผ๋ก ๊ทธ๋ฆฐ ์ฐจํธ๋ ์๋์ ๊ฐ๋ค.์ํฌ์ํธ์์๋ง ์์
์ ํด๋ด๋ ์ด ๋ฐฉ๋ฒ์ ์๋นํ ๋ถํธํ ๋ฐฉ๋ฒ์์ ์ ์ ์๋ค. ์ฐ์ ์ฃผ์ ์งํ๋ฅผ ๋ชจ๋ ์ธก์ ๊ฐ์ผ๋ก ์ถ๊ฐํด ํต ํ
์ด๋ธ ๊ณ์ฐ์ ํด์ฃผ๊ณ ์์๊ฐ ์ญ์ ์์์ ๋ฐ๋ก ์ง์ ํด์ค์ผ ํ๊ธฐ ๋๋ฌธ์ด๋ค. ์ด ์ฐจํธ๋ฅผ ๋์๋ณด๋์ ๋ฃ์ด ๋ณด๋ฉด, ์ด ๋ฐฉ๋ฒ์ด ์ผ๋ง๋ ๋นํจ์จ์ ์ธ์ง ์ ์ ์๋ค. ์์ ์ํธ๋ฅผ ๋์๋ณด๋์ ํํํ๋ฉด ๋ค์๊ณผ ๊ฐ์ด ๋ํ๋๊ฒ ๋๋ค.๋ณดํต ๋์๋ณด๋์ ๊ฒฝ์ฐ ์์ฌ๊ฒฐ์ ์๋ค์ด๋ ์ค๋ฌด์ง๋ค์ด ์ค์ ์ ..