[책정리] 빅데이터를 지탱하는 기술 1-4. BI도구와 모니터링

6월 선정도서 - 빅데이터를 지탱하는 기술

선정계기 - 데이터가 쌓이고 흐르는 전체적인 구조를 깊이 있게 이해할 수 있고,

미래의 데이터엔지니어로써 해야하는 업무들의 전반적인 흐름을 파악할 수 있을 것 같아 선정(기대가 된다

 

목차 

챕터1. 빅데이터의 기초지식

1-1. 빅데이터의 정착

1-2. 빅데이터시대의 데이터분석기반

1-3.스크립트 언어에 의한 특별분석과 데이터프레임

1-4. BI도구와 모니터링

 

---

 

 

현재상황파악 : 스프레드시트 모니터링

모니터링이란 계획적으로 데이터변화를 추적하는것.

 

현재상황을 파악하기 위한 하나의 도구로 데이터를 사용한다.

데이터의 변화를 모니터링하고, 만약 예상과 다른 움직임이 있다면 행동을 해야한다. 여기에 사람판단이 필요하다. 

 

데이터에 근거한 의사결정 : KPI모니터링

KPI란 프로젝트의 현황을 파악하기 위한 숫자로 업계마다 중요한 지표.

예를 들어, 서비스를 이용한 1일 또는 한달 유저수인 DAU(Dailly Activity User) ,MAU(Monthly Activity User) 등이 있다.

 

결과에 따라 자신의 다음행동이 결정될지 여부를 알고자 사용한다. 

목표와 결과가 다르면 행동을 해야한다. 자신의 행동을 결정할때 직감이 아니라 객관적인 데이터에 근거하여 판단한다.

---

변화파악하기 : BI도구 사용 

BI도구는 고속의 집계엔진을 내장하고 있어, 순식간에 그래프를 그려준다. 대화형으로 데이터를 시각화하고 싶을때 편리

 

데이터움직임을 모니터링하는 기본전략은 정기적인 보고를 통해 중요한 변화를 파악하는 것 

그리고 원인을 알고 싶은 경우, 원인이 되는 데이터를 재집계 반복해서 자세히 살펴보는 것. 이것을 위한게 BI도구

 

변화를 쉽게 파악하기 위해서 시각화 하기 쉬운 데이터를 만드는 것이 중요하다. 

 

무료 BI툴 : Tableau Public , Quick Sence, Microsoft Power BI, 구글 Data Studio

 

수작업과 자동화

BI도구의 한계 : 제대로 설계된 데이터가 없다면 자신의 생각과 딱 맞는 화면을 만들 수 없다.

단순한 분석작업은 BI도구를 위해 새로운 테이블 설계부터 시작하는 것보다 그때그때 수작업이 더 쉽다.

 

언제 자동화가 필요한가?

로그데이터처럼 자주업데이트 되거나 다수의 사람에게 공유되는 데이터 등 중요성이 높은 것은 자동화해야한다. 

 

자동화 방법 

1. BI도구에서 직접 데이터 소스접속 

장점 : 시스템구성 간단

단점 : BI도구 측에서 지원하지 않는 데이터소스에는 접속불가

 

2. 데이터마트 준비, BI도구에서 열기 -> 가장 범용성 높음

장점 : 어떤 테이블이더라도 자유롭게 만들 수 있음

단점 : 데이터마트 설치 및 운영 시간필요 -> 한번 만들어두면 전체 시스템 구축이 완료되서 더 수월해짐 

 

3. 웹방식의 BI도구 도입, CSV파일 업로드

장점 : 스크립트로 자유롭게 데이터가공 가능

단점 : 데이터생성 및 업로드에 프로그래밍 필요