728x90
728x90
데이터엔지니어의 주요업무 중 하나, 데이터파이프라인 개발
특히 이때 데이터는 대용량데이터, 실시간데이터 등등 다양한 데이터이다.
데이터파이프라인을 통해 어디에서든지 데이터를 편하게 접근하고, 분석할 수 있게 해준다.
왜, 어디에서, 어떻게 데이터를 수집할 것인가?부터 출발한다
데이터를 효과적으로 가져오는것이 data-driven기업의 숙제다.
데이터를 한 지점에서 특정공간까지 가지고 오는데 장애물들이 있기 때문에 이걸 해결하는게 핵심 키.
데이터파이프라인 구축 : 데이터의 추출, 변경, 결합, 검증 그리고 적재의 과정을 자동화 하는 것
여러 소프트웨어적인 수동작업들을 제거하고, 데이터가 각 지점을 순조롭게 흐르도록 flow를 만들어 주는 것
심지어 여러 데이터 스트림을 한번에 처리해야하고, 모든종류의 데이터를 수용해야한다.
데이터를 잘 전달하기 위한 시스템
ETL이랑 뭐가 다른가?
ETL은 추출(Extract), 변환(Transform), 적재(Load)의 줄임
ETL시스템은 하나의 시스템에서 data를 추출하고, data를 변환하여 데이터베이스나 dw에 적재한다.
레거시 ETL 파이프라인은 보통 배치로 작동하고 큰 덩어리의 data를 특정 시간에 한 공간에 저장하는 작업
데이터파이프라인은 ETL을 포함하는 광범위한 용어
즉, 데이터를 한 시스템에서 또다른 시스템으로 옮기는 작업을 뜻함
데이터파이프라인은 어떻게 만드는가?
Apache Spark, Amazon S3 기반의 대용량 데이터분석 파이프라인
728x90
반응형
'🌿 Data Engineering > Data PipeLine (Airflow)' 카테고리의 다른 글
KubernetesPodOperator으로 로컬 k8s에서 airflow 배치작업 만들기 (0) | 2024.01.21 |
---|---|
[로컬 환경에서] 쿠버네티스 구축하기 (kind, docker-desktop) (2) | 2024.01.15 |
[로컬 환경에서] AWS MWAA (ariflow) 구축하기 (1) | 2024.01.07 |
Airflow DAG작성하고, webUI 살펴보기 (OpenWeather ETL) (0) | 2021.09.11 |
AWS ec2(Ubuntu)에 Airflow2.0 설치하기 (0) | 2021.09.03 |
Airflow 한번 맛보기 | Apache Airflow란? (0) | 2021.04.16 |