쏘카 데이터엔지니어가 하는 일- 2.데이터지표와 보고서만들기

아래의 글은 쏘카 Tech Blog에서 발췌한 글의 일부입니다.  원본글은 아래에서 보실 수 있습니다

https://tech.socarcorp.kr/data/2021/03/24/what-socar-data-engineering-team-does.html

쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일

 

---

언젠가 데이터엔지니어로 일할 수 있는 기회를 꿈꾸며......

2021.05.21 - 쏘카 데이터엔지니어가 하는 일- 1.데이터분석환경구축

쏘카 데이터엔지니어가 하는 일- 1.데이터분석환경구축

 

---

데이터엔지니어링팀 업무2 . 데이터지표와 보고서만들기

분석환경구축을 넘어 실제 비즈니스 목적을 가진 분석지표와 보고서를 만든다.

 

 

이 보고서들은 실제 도메인담당자들이 의사결정을 할떄 사용된다.

최근일주일동안 기동률보고서, 이전달 손익지표 보고서 등 

 

하나의 보고서를 만들기 위한 작업

1. 보고서를 요청한 팀과 미팅 

보고서의 목적을 확인하고 이와관련된 지표를 정한다

2. 데이터를 전처리하는 로직설계

3. 로직기반 데이터생성 및 가공 = 사용가능한 데이터 생성

4. 보고서를 요청한 팀한테 전달 및 피드백 

 

이런 과정을 지속적으로 이루어지기 때문에 관련 지표와 로직이 일관성 있고 확장가능하도록 설계해야한다. 

다음과 같은 고민을 하게 된다

• 어느정도로 테스크를 쪼개야 유지보수와 재사용이 쉬울까?
• 쿼리는 어떻게 구조화하고 최적화해야 읽기 좋고 성능이 좋을까?
• 어느시간대에 어떤 순서로 실행해야 올바르게 파이프라인이 동작할까?

이런 기술적인 고민과 함께 팀미팅, 지표설계, 워크플로우설계, 최종보고서 구현 모두 데이터엔지니어링팀 진행

 

보고서 어떻게 만드는가? 어떤 툴?

쏘카에서는 빅쿼리와연결이 쉽고, 보고서 업데이트 스케줄링 기능을 지원하는 아래의 툴을 사용중이다.

툴은 보는 대상이나 표현하려는 지표의 형태에 따라 선택한다.

• 구글 스프레드시트 : 테이블형태로 여러지표값을 한눈에 보고자 할떄 
• 구글 데이터스튜디오 : 지표를 간단하게 시각화할떄 
• 태블로 : 구글데이터스튜디오에서 구현하기 어려운 보고서를 만들떄 더 다양한 시각화템플릿 사용

 

데이터엔지니어링팀에서 보고서까지 작성한다는 이야기는 처음알게 되었다. 
다행히도 보고서를 쓰는 툴들은 많이 들어본 툴이였고, 태블로도 배워보면 좋을 것 같다.
그저 데이터분석팀에서 데이터분석 시각화 툴로 사용한다고만 알아서 쓸일이 없을것 같다고 미뤄두었는데 
이렇게 데이터엔지니어링팀에서도 쓸 수가 있겠구나 하는 생각이 들었다.