1μ΅ λμ λλ°μ΄μ€. 100λ§ RPM. ν루 25μ΅ κ±΄ μ΄μμ μ΄λ²€νΈ λ°μ΄ν°. μμ μ μ΄κ³ ν¨μ¨μ μΈ λ°μ΄ν° νμ΄νλΌμΈμ ν¨κ» λ§λ€ Data Engineerλ₯Ό μ°Ύκ³ μμ΄μ!
AB180μ μΈκ³ κ°κ΅μμ ν루 10μ΅ κ±΄μ λ¬νλ λ°μ΄ν°λ₯Ό λ°μ μ€μκ°μΌλ‘ λΆμνκ³ μμ΄μ. Data Engineerλ λ€λμ λ°μ΄ν°λ₯Ό μμ μ μ΄κ³ κ°μ±λΉ μ’κ² μ²λ¦¬νλ λ°μ΄ν° νμ΄νλΌμΈμ λ§λ€κ³ , νμν κ³³μ λ°λ‘ μΈ μ μλ λ°μ΄ν° νλ«νΌμ ꡬμΆνλ μΌμ ν΄μ.
AB180 Data Engineerλμ,
μμ μ μ΄κ³ ν¨μ¨μ μΈ λ°μ΄ν° νμ΄νλΌμΈμ λ§λ€μ΄μ.
ν¨κ» νμκ² λλ€λ©΄, λμ 1μ΅ λ μ΄μμ λͺ¨λ°μΌ λλ°μ΄μ€, μ΅λ 100λ§ RPM, ν루 10μ΅ κ±΄ μ΄μμ μ΄λ²€νΈ λ°μ΄ν° λ±... λ€λ₯Έ κ³³μμ μ½κ² κ²½ννκΈ° μ΄λ €μ΄ λλμ λ°μ΄ν°λ₯Ό λ€λ£¨κ² λ κ±°μμ.
λ°μ΄ν°μ μ μ€ μμ΄(fault tolerant), λμ νμ₯μ±μ κ°μ§λ©΄μ(linearly scalable), μ¬μ©λλ λΉμ©κ³Ό μΈμ€ν΄μ€ λ±μ μμμ ν¨μ¨μ (cost effective)μΌλ‘ ꡬμΆ, κ°μ νλ λ° νμν μμ§λμ΄λ§μ κ³ λ―Όκ³Ό μλλ₯Ό ν΄λ³Ό μ μμ΄μ.
λΉμ¦λμ€μ λμμ΄ λλ λ°μ΄ν° νλ«νΌμ ꡬμΆν΄μ.
AB180μ λ¨μ λ‘κ·Έ μ²λ¦¬ λ
Έλμ μ§μν΄μ. λΆμμ μν΄, AWS S3 λ±μ μ€ν 리μ§μ μκΈ° μν΄, κ΄κ³ 맀체λ μλνν° μλΉμ€μ μ°λνκΈ° μν΄. νμν κ³³μμ λ°μ΄ν°λ₯Ό μ¬μ©ν μ μλλ‘ λλ 'νλ«νΌ'μ΄ λκ³ μ ν΄μ.
λ μ’μ μμ€ν μ λ§λ€κΈ° μν΄ μ€ννκ³ κ³ λ―Όν΄μ.
μ°λ¦¬λ μ§κΈ μ¬μ©νλ λ°©λ²λ³΄λ€ λ μ’μ λ°©λ²μ΄ μμ κ²μ΄λΌκ³ μκ°ν΄μ. ν¨μ¨μ μΈ νμ΄νλΌμΈ μ΄μ©μ μν΄ νμΈν΄μΌ ν μ§νλ₯Ό μ§μ / μ°μΆνκ³ , Lambda μν€ν
μ² λ± λ€μν λ°μ΄ν° μν€ν
μ²λ₯Ό ꡬνν΄μ. Kafka, Airflow, Druid, Snowflake λ± κ° λΆμΌμ μ΅μ κΈ°μ μ μ¬μ©νκΈ°λ ν΄μ.
fault tolerant, linearly scalable, cost effectiveν μμ€ν
μ λ§λ€κΈ° μν΄ κ°μ΄ κ³ λ―Όν΄μ!
μ€λ ₯μλ κ°λ°μλ‘ μ±μ₯ν μ μλ μ’μ κ²½νλ€μ μμ μ μμ΄μ.
μ΄μ κΉμ§ μ ν΄λ³΄μ§ λͺ»νλ λΉμ¦λμ€ λ‘μ§κ³Ό λμ©λ νΈλν½μ κ²½ννκ³ μ΄λ €μ΄ κΈ°μ κ³Όμ λ₯Ό λ€λ€λ³΄λ©° λμμμ΄ λμ ν΄μ. λΉμ°ν κ·Έλ§νΌ μ€λ ₯λ ν¨κ» μ±μ₯ν΄μ. λΆμΌλ³ λ°μ΄ν°μ νλ¦μ λμΌλ‘ μ§μ 보며 λ°°κ²½ μ§μμ μκ³ λ€μν κ²½νμ ν μ μμ΄μ.
λ°±μλ μμ§λμ΄ μ°¬νλκ»μ λ²κ·Έλ₯Ό μ°ΎμΌμ κ² κ°μμ. μ΄λ»κ² νλ©΄ λ¬Έμ λ₯Ό μ ν΄κ²°ν μ μμκΉμ?
λ°μ΄ν° μμ§λμ΄ μ£Όνλκ»μ μμ΄λΈλ¦Ώμ§μ λ°μ΄ν° νμ΄νλΌμΈμ λ§λ€κ³ κ΄λ¦¬νλ©° μ΄λ €μ λ μ μ λ°ννκ³ κ³μΈμ.
λ°±μλ μμ§λμ΄ λ―Όκ·λκ»μ μΈν΄μ κ±°μ³ νμμΌλ‘ ν©λ₯νμ
¨μ΄μ. μ리μμ μ‘°μ΄νκ² μΆνλ₯Ό λλ΄μ΄μ 
κ³ κ°μ λ§μΌν
μ΄ κ°μκΈ° ννΈλ₯Ό μΉλ€λ©΄, λΎ°μ‘±νκ² μΉμλ κ·Έλνλ₯Ό λ³Ό μ μμ΄μ. νμμ 'κΈ°μμ΄ λ¨Έλ¦¬'λΌκ³ λΆλ¬μ 
Back-end νμ ꡬμ±νλ κΈ°μ
μ£Όμ μ 무
β’
μμ§λ λ°μ΄ν°λ₯Ό μ μ νμ¬ ν΅κ³ λ° Raw λ°μ΄ν°λ₯Ό μ 곡ν μ μλ νκ²½ κ΅¬μΆ λ° μ΄μ
β’
κ΄κ³ 맀체 λ° κ΄κ³ μ£Όμμ server to server λ°μ΄ν° μ°λ
μ격 μ건
β’
3λ
μ΄μ λ°±μλ κ°λ° νΉμ λ°μ΄ν° μμ§λμ΄λ§ μ
무 κ²½νμ΄ μμΌμ λΆ
β’
Batch job κ΄λ¦¬ κ²½νμ΄ μμΌμ λΆ (Airflow νΉμ λ€λ₯Έ λꡬ)
β’
SQL μμ±μ μ΄λ €μμ΄ μκ³ , ETL νλ‘μΈμ€λ₯Ό κ΄λ¦¬ν μ μμΌμ λΆ
μ°λ μ¬ν
β’
μ«μ(νΉν ν΅κ³)μ λ°κ³ , κ΄κ³ μ
κ³μ κ΄ν λλ©μΈ μ§μμ΄ μμΌμλ€λ©΄ λμ± μ’μμ!
β’
λΆμ° μ²λ¦¬ μμ€ν
μ λν μ΄ν΄κ° μμΌμ λΆμ΄λΌλ©΄ λμ± μ’μμ!
β’
AWSλ₯Ό μ΄μ©ν νλ ₯μ μΈνλΌ μ΄μμ΄ κ°λ₯νμ λΆμ΄λΌλ©΄ λμ± μ’μμ!
근무 νκ²½
1.
μ
무 ν¨μ¨κ³Ό μμ°μ±μ λμ΄κΈ° μν΄ μλμμ΄ μ§μν©λλ€
β’
μ½μ΄ μνΉ νμ κΈ°λ°μ μμ°¨ μΆν΄κ·Ό μ λ μ΄μ
β’
μμ λ‘κ³ λ€μν ν΄κ° μ λ μ΄μ (λ°λ°μ°¨ ν΄κ° λ° μμΌ ν΄κ°, μΆμ° κ²μ§ ν΄κ° λ±)
β’
3λ
Β· 5λ
Β· 7λ
λ§κ·Ό μ μ κΈ λ¦¬νλ μ ν΄κ° μ 곡
β’
μΌκ·Ό μ μλΉ λ° κ΅ν΅λΉ μ§μ
β’
κ³ μ¬μμ μ₯λΉ μ§μ(MacBook Pro, κ³ μ¬μ λͺ¨λν°, ν€λ³΄λ Β· λ§μ°μ€ κΈ°κΈ° μ ν κ°λ₯)
2.
ꡬμ±μμ μ£Όλμ μΈ μ±μ₯μ΄ AB180μ μ±μ₯μΌλ‘ μ΄μ΄μ§λ€κ³ λ―Ώμ΅λλ€
β’
κ°μ, μΈλ―Έλ, μΈλΆ κ΅μ‘, κ΅λ΄μΈ 컨νΌλ°μ€ λ± μ°Έκ°λΉ μ§μ
β’
λμ ꡬμ
λΉ μ§μ
β’
체κ³μ μΈ μ¨λ³΄λ© 컀리νλΌκ³Ό μ κ· μ
μ¬μ λ©ν λ§ μ΄μ
β’
Product Research, Success Case Study, Knowledge Transfer λ± μ μ¬μ Β· νλ³λ‘ λ€μν μ§μ 곡μ νλ‘κ·Έλ¨ μ΄μ
3.
ꡬμ±μμ μ견μ μλ ΄νκ³ λ λμ λ°©ν₯μΌλ‘ λμκ°κΈ° μν Open Cultureλ₯Ό μ§ν₯ν©λλ€
β’
μ§λ¬΄μ μ ν μμ΄ λꡬλ νλ‘λνΈ κ°μ μ μ견μ λΌ μ μλ μμ΄λμ΄ νν¬ μ΄μ
β’
λͺ¨λ ꡬμ±μμ΄ λͺ¨μ¬ νκ³ λ₯Ό λλκ³ λΉμ μ 곡μ νλ νμ΄ν λ―Έν
& Airbase μ§ν
β’
μ
무 νκ²½ Β· μ‘°μ§ λ¬Έν κ°μ μ λν΄ μμ λ‘κ² κ±΄μνκ³ , ꡬ체μ μΌλ‘ λμ±
μ΄ λ
Όμλλ μ€ν μλ² μ΄ μμ μ΄μ
4.
κ·ΈμΈ λ€μν ννκ³Ό 볡μ§λ₯Ό μκ°ν©λλ€
β’
κ°λ¨μ 9λ² μΆκ΅¬ 3λΆ κ±°λ¦¬μ μ΄νΉκΈ μμΈκΆ μ¬λ¬΄μ€
β’
μ€λ΅λ°, 컀νΌγ»νμ°μ λ¨Έμ μ€μΉ μ΄μ
β’
λΌμ΄μ§, λ―Έν
λ£Έ, ν°λΆμ€ λ± κ³΅μ©κ³΅κ° Β· ν΄κ²κ³΅κ° μλΉ
β’
μ€μκΈ°μ
μ²λ
μλμΈ κ°λ©΄ νν μ μ© κ°λ₯
ν©λ₯ νλ‘μΈμ€
μλ₯ μ μΆ
μ
μ¬μ§μμμ GitHub λ§ν¬λ₯Ό λ΄μμ μ§μν΄μ£ΌμΈμ.
μ½λ© ν μ€νΈ
μ§λ¬΄ μ ν© μ¬λΆλ₯Ό νλ¨νκΈ° μν΄ μ¬μ μ½λ© ν
μ€νΈλ₯Ό μ§νν΄μ. μ½λ© ν
μ€νΈλ μκ³ λ¦¬μ¦μ΄ μλ μ€μ μμ΄λΈλ¦Ώμ§μ μλ μμ€ν
μ ν λλ‘ μ§νν΄μ.
1μ°¨ μΈν°λ·°
μ½λ©ν
μ€νΈ κ²°κ³Όλ¬Ό μμ° λ° λ¦¬λ·°λ₯Ό μ§ννκ³ , μ μΆ μλ₯λ₯Ό κΈ°λ°μΌλ‘ κΈ°μ +κ²½νκ³Ό κ΄λ ¨λ μ§λ¬Έμ λλ €μ.
2μ°¨ μΈν°λ·°
νμ¬ μ
무 λ° λ¬Έν μ ν©λ λ±μ νμΈνκΈ° μν΄ κ΄λ ¨λ μ§λ¬Έμ λλ €μ.
μ μ¬ νμ
μ
μ¬ μ‘°κ±΄μ νμνκ³ μ
μ¬λ₯Ό νμ ν΄μ.
* μ
μ¬ νμκ° μ’
λ£λλ μμ κΉμ§ μ΅λ ν λ¬ μ λμ μκ°μ΄ 걸릴 μ μμ΅λλ€.
* κ²°κ³Όλ 1μ£ΌμΌ μ΄λ΄λ‘ λ©μΌμ ν΅ν΄ νμΈ νμ€ μ μκ³ , μ§μ°λλ κ²½μ° κ°λ³μ μΌλ‘ μ°λ½λ립λλ€.
* μ§λ¬΄ λλ μν©μ λ°λΌ μ μ°¨μ λ³λμ΄ λ°μν μ μμ΅λλ€.
* λ€μμ μ±μ© νλ«νΌμμ daum/hanmail/kakao λλ©μΈ μ΄λ©μΌ κ³μ μ μμ μ΄ μννμ§ μμ κ²½μ°κ° λ°μνκ³ μμ΅λλ€. μμ μ μΈ μ§μμ λ±λ‘μ μν΄, μΈκΈν λλ©μΌ μ΄μΈμ μ΄λ©μΌ κ³μ μ μ΄μ©ν΄μ£ΌμΈμ.
* AB180μ μ°μ
κΈ°λ₯μμ λ³μμ§μ μ
체λ‘, νμ μ°μ
κΈ°λ₯μμ μ μ§, 보좩μ μ°μ
κΈ°λ₯μμ μ κ· νΈμ
/μ μ§μ΄ κ°λ₯ν©λλ€.