728x90 반응형 ㅜ1 [책정리] 빅데이터를 지탱하는 기술 3.2쿼리 엔진 6월 선정도서 - 빅데이터를 지탱하는 기술 선정계기 - 데이터가 쌓이고 흐르는 전체적인 구조를 깊이 있게 이해할 수 있고, 미래의 데이터엔지니어로써 해야하는 업무들의 전반적인 흐름을 파악할 수 있을 것 같아 선정(기대가 된다 목차 챕터3. 빅데이터의 분산처리 3-1. 대규모 분산처리의 프레임워크 3-2. 쿼리엔진 3-3. 데이터마트의 구축 Hive에 의한 구조화데이터의 생성과 Presto에 의한 대화식 쿼리 데이터마트 구축의 파이프라인 Hive와 Presto를 결합한 데이터프라인 비구조화(비정형) 데이터 -> 구조화(정형)데이터 -> 비정규화 데이터 1. 분산스토리지에 저장된 데이터를 구조화한다. (Hive) 2. 열지향 스토리지 형식으로 변환 및 저장 3. 완성한 구조화 데이터를 결합 및 집약하여 비정.. 2021. 6. 22. 이전 1 다음 728x90 반응형
