쏘카 데이터엔지니어가 하는 일- 4.데이터그룹의 인프라/리소스 관리

아래의 글은 쏘카 Tech Blog에서 발췌한 글의 일부입니다.  원본글은 아래에서 보실 수 있습니다

https://tech.socarcorp.kr/data/2021/03/24/what-socar-data-engineering-team-does.html

쏘카 데이터 그룹 - 데이터 엔지니어링 팀이 하는 일

---

언젠가 데이터엔지니어로써 일할 기회를 꿈꾸며....

매번 하는일에 대해서 알아갈 수록 잘할 수 있을것 같은데..딱 내가 하고 싶고 내가 찾던 일이다...진심

2021.05.21 - 쏘카 데이터엔지니어가 하는 일- 1.데이터분석환경구축

2021.05.21 - 쏘카 데이터엔지니어가 하는 일- 2.데이터지표와 보고서만들기

2021.05.21 - 쏘카 데이터엔지니어가 하는 일- 3.데이터기반 백엔드 서비스 개발 운영

 

---

데이터엔지니어링팀 업무4. 데이터그룹의 인프라/리소스 관리

데이터그룹은 빅쿼리를 사용한 분석작업이 많아서 GCP를 사용한다.

GCP관련 관리형 서비스 : PubSub, CloduFunction, Dataproc, Dataflow, DataStudio 등 

GCP관련된 인프라구축은 인프라팀에서 담당하지만, 실서비스 운영 및 관리는 데이터엔지니어링팀에서 담당한다.

어떤 리소스를 어떻게 관리하는가?

1. GCP서비스 모니터링

데이터그룹원들이 사용하는 Computing Resource, BigQuery사용량, 데이터정합성검사, 네트워크 방화벽 등 모니터링

예를 들면 모니터링을 위해 아래와 같은 일들을 확인해본다.

• Computing Resoure,BigQuery를 과도하게 사용하는 경우 알림메시지가 오는 시스템을 만든다거나
• 이 알람을 통해 관련장애를 미연에 방지할 수 있도록 해준다거나
• 빅쿼리 사용요금을 미리 알수 있게 해주고, 과금이 되는걸 막을 수 있는 시스템을 만든다거나
• 빅쿼리에 데이터가 잘 적재되었는지 정합성검사를 통해 주기적으로 확인해주거나
• 네트워크 방화벽을 모니터링하여 보안에 문제는 없는지 확인해주는 일

2. GKE환경에서 필요한 리소스할당 및 템플릿제공

• 배포파이프라인을 만들거나 직접 만들수 있도록 가이드해주거나
• 현재 배포는 GIT-OPS 형태로 관리하고 있으며 helm chart나 commit메세지 등을 일관되게 구성하돌고 관리하거나
• GKE에 올라가는 Airflow관련 helm chart를 직접 커스터마이징하여 작성하고 관리하여 운영하거나
• 더 나은 개발환경과 배포파이프라인은 없는지 계속해서 고민하는 일

 

정리

이렇게 4편에 걸쳐서 데이터엔지니어가 하는 일을 알아보았다. 정리하자면 이렇게 요약할 수 있다.

1. 전사직원을 위한 통합 데이터저장소 마련

• 다양한 데이터소스를 한군데로 모을 수 있게 만드는 데이터파이프라인 설계
• 좀 더 편리하고 쉽게 조회할 수 있도록 따로 모아둔 데이터마트구축\

2. 데이터 시각화 및 보고 작성

• 보고서의 데이터가 지속적으로 업데이트 되는 파이프라인 설계
• 업무규칙 협의, 지표 및 데이터검증

3. 데이터기반의 백엔드 서비스 개발 및 운영

• 데이터그룹 내 오퍼레이션, 머신러닝을 서빙하는 백엔드 서비스 개발
• 지속적이고 유지보수가 쉬운 개발방법론 연구 및 적용 
• 운영에 차질이 없도록 로그, 리소스 모니터링 

4. 데이터인프라 및 리소스 관리

• GCP 서비스 운영 및 관리
• 리소스,네트워크,빅쿼리 사용량 모니터링
• GKE에 올라가는 helm chart 및 리소스 관리
• 개발환경과 배포파이프라인 관리

 

이렇게 데이터엔지니어가 하는 일을 구체적으로 알아보니 정말로 유익했다. 
업무적으로 자세하고 기술적으로 설명까지 해주면서 마치 데이터엔지니어 직무의 인턴이 된 기분까지 들었다.
그정도로 이해가 쏙쏙 잘되었고, 매번 이론적으로 듣기만 했던 파이프라인,데이터마트 등 이런 개념이 실무적으론 어떻게 쓰이는지 어떤 목적으로 사용되는지까지 알 수 있어서 흥미로웠다. 
데이터엔지니어를 최종목표로 커리어를 발전시키고 싶은 나에게 정말로 큰 도움이 되었다. 늘 막연하고 막막하기만 했었는데 이 글을 계기로 앞으로 어떤식으로 커리어를 가지고 가면 좋을지 큰 길을 잡을 수 있을 것 같다.
언젠가 꼭 데이터팀에서 데이터엔지니어로써 능숙하게 일을 처리하게 될 나를 상상하며..