데블스캠프2018/데이터 정제,ETL,uuid와 time series

발표자료: http://zeropage.org/?module=file&act=procFileDownload&file_srl=111609&sid=c33da50ea3254ec9d726064ff7a43ce2&module_srl=9451

CronTab

• 실패하면?
• 만약 장비가 고장나면?

Apache-Airflow

• 좋아요

여러분이 졸업훟 취업을 한다면...

• SE
• DevOps

• 프론트엔드
• 데이터 사이언스
  • 데이터를 학습 시켜 뭔가를 구한다.
  • 데이터를 모아야한다. ~~소는 누가 키워~~

학교 밖 DB

• 학교 안 : 정규화 어떻게 하는지 ~~교수님은 쉽게 내지만 우린 어렵다~~

학교 밖

• 과제할때나 개발할 때는 노트북에서 돌려도 된다.
• 하지만 실제론?

1대론 역부족이야

• Master-Slave 구조
  • Slave 를 동기, 비동기로 적절하게 활용
  • Slave가 죽으면 : 최근 유효값을 찾고 복구
  • Master가 죽으면 : Slave 중 하나가 Master가 됨.
  • Master가 살아있었으면? : split-brain
  • 내가 쓴 글을 읽을 때
  • 남의 글을 읽을 때
• 한 대로 읽기 작업이 감당이 안 됨!!

ETL, ELT

• ETL : Extract Transform Load
• ELT : Extract Load Transform

댓글

• 지금 고민하고 있는 문제를 해결하고자 찾아보게 되네요. 2년전에 좀더 열심히 들을껄ㅠ