오늘의 공부Day_11(데이터를 쉽게 찾고 잘 활용할 수 있는 기반을 만드는, 데이터 분석 엔지니어)

데이터를 쉽게 찾고 잘 활용할 수 있는 기반을 만드는, 데이터 분석 엔지니어

 

데이터 분석 엔지니어라는 직무가 낯선 분들도 있을 것 같은데요, 토스에서 어떤 역할을 담당하고 계시나요?

회사마다 역할의 차이는 조금씩 있겠지만, 토스에서 DAE는 각 제품팀에서 생산하는 데이터가 전사적으로 유용하게 사용될 수 있게끔 데이터를 자산화하고 관련 데이터 파이프라인을 운영하는 역할이며 생산된 데이터를 각 담당 제품 조직 뿐만 아니라 전사적인 관점에서도 쉽게 활용될 수 있게 하는 기반을 만들고 있어요.

또한 담당 도메인의 데이터를 구조화/설계하며, 데이터 마트를 구축하고 데이터 표준정책을 수립하고 있죠. 모니터링과 최적화를 통해 데이터 파이프라인 안정성을 유지하며, 새로운 데이터 소스를 적용하거나 변화에도 대응하려 합니다. 데이터 분석과 비즈니스 인사이트 도출이 원활하게 이루어질 수 있도록 하는 것이 궁극적인 목표예요.

 

 

 

DAE의 역할은 이해가 잘 돼요 그렇다면 DAE로서 토스에서 다양한 직무의 현업, 팀과 어떤 방식으로 협업하시나요?

주로 담당 도메인의 데이터 분석가분들과 많이 협업하는데요. 제품조직(사일로)에서 특정 제품을 출시할 때를 예로 들어볼게요.

• 우선 담당 데이터 분석가와 논의하여 해당 제품을 분석하는 관점에서 어떠한 데이터 마트들이 생성되면 좋을지 파악하여 데이터 마트를 개발하고 전사의 활성 유저 집계나 매출이나 비용 등을 연동해요.
• 또한 실시간으로 데이터 모니터링이 필요한 상황에서는 데이터 엔지니어분들의 도움을 받아 실시간 파이프라인을 제공합니다.
• 이와 더불어 개인화나 추천 등을 목적으로, 집계한 데이터 마트를 제품에서 활용할 수 있도록 서버 개발자, DBA와도 협업하여 데이터 연동 작업을 하고 있어요.

데이터 마트팀에서는 정말 다양한 직군과 협업할 기회가 많은데요. 제품조직(사일로)과의 협업 이외의 부분을 말씀드릴게요.

• 데이트 분석 플랫폼팀, DW팀과도 정기적인 미팅을 통해 함께 해결해야 할 과제를 발굴해요. (e.g. Data Discovery 개선, Data Quality를 위한 Backfill 프로세스 개선 등)
• 프로젝트 단위로 데이터 매니저, 테크니컬 프로덕트 매니저(TPM) 분들과도 밀접하게 협업하고 있어요.
• 또 비즈니스 조직과는 비즈니스/세일즈에서 활용할 수 있는 데이터를 자산화, 표준화하는 것이 주요한 목표이며, 서버 개발자 및 데이터옵스 매니저분들과 주로 협업해요.

 

 

 

DAE의 큰 목표인 전사 Data Maturity 개선을 위해 시도 중인 액션들과 데이터 오너십을 어떠한 방식으로 갖게 되는지 궁금해요.

토스는 애자일 조직 기반에 수많은 제품이 있고 각 제품들은 빠른 속도로 개발되며 데이터가 만들어지고 있습니다. 그렇다 보니 자연스레 데이터 사일로화가 가속화되고 Data Maturity와는 멀어지기 쉬운 환경인데요.

지금껏 여러 시행착오 끝에 토스 환경에 적합한 DW 구축 방법론으로서 토스 DW 표준안을 정립하였고, 이에 따라 각 제품들의 주요 개념들을 명확하게 정의한 표준 데이터 마트를 빠르게 구축하고 있습니다. 또한 주요 소비 영역들을 표준 마트와 연동하는 방식으로 변화를 만들어가고 있는데요.

 

DAE들의 중요한 역할 중 하나가 이러한 표준 마트를 구축하고 데이터오너십을 갖는 것인데요. 표준마트 하나를 생성할 때마다 명확한 개념 정의 및 표현, 표준 준수(데이터원천단의 표현을 따르지 않고 통합되고 일관된 표현을 따름), 문서화, 데이터 품질 모니터링까지 꼼꼼하게 챙겨서 데이터 소비 주체들이 쉽게 믿고 사용할 수 있도록 하는 것을 목표로 업무를 수행하고 있습니다. 즉, 단순히 마트 테이블을 생성하는 것이 아니라 데이터 소비 주체들에게 서비스 수준으로 제공 가능한 하나의 Data Product를 만드는 포지션이에요.

 

그리고 잘 만든 것을 잘 유지 관리하기 위해선 데이터 오너십도 중요한데요. 토스는 다양한 맥락의 제품이 많고 애자일 문화의 조직이라 하나의 중앙조직에서 모든 데이터의 오너십을 갖는 건 비현실적입니다. 따라서 중앙의 표준 관리 조직(데이터 마트팀)은 각 도메인에 표준을 전파, 교육, 표준 모니터링을 수행하고, 각 도메인의 DAE는 분산된 데이터 오너십을 가짐으로써 Data Mesh 방식을 지향하고 있어요.

 

 

 

데이터마트팀과 도메인에 배치되는 DAE들의 목표는 다를까요?

 

중앙 조직인 데이터 마트팀 DAE는 DW 표준안이 전사적으로 잘 안착할 수 있도록 도메인 DAE들과 소통하며 데이터 품질 관리를 위한 시스템적인 장치를 마련하고, 표준마트 활용도를 높이기 위한 개선안을 도출하며 전사 차원의 데이터 프로젝트들을 담당해요.

 

도메인 DAE는 해당 서비스 데이터의 오너십을 가지고 데이터 설계, 도메인 차원의 DW 구축 및 운영하며 데이터가 효율적으로 활용될 수 있도록 하죠.

 

담당하는 도메인이나 데이터는 다를 수 있지만 토스의 데이터 사용자들이 데이터를 쉽게 찾고 활용할 수 있는 기반을 만든다는 공통의 목표를 가지고 있다고 생각해요. 결국 많은 데이터가 더 쉽게 흐르고, 구성원들이 믿고 쓸 수 있는 데이터가 빠르게 활용되는 모습이 저희가 함께 이루고자 하는 목표니까요.

 

 

 

토스 DAE로 합류하기 위해 어떤 동료가 오시길 기대하세요?

조직에서 데이터를 사용하는 사람들이 어떻게 하면 쉽게 데이터를 찾고, 잘 사용하게 할 수 있을지에 대한 고민과 실행 경험이 있으신 분들이 적합할 것 같아요. 또한, 특정 시각에서만 비슷한 데이터를 재생성하는 것 보다, 재사용성과 확장성이 높도록 테이블이나 데이터를 구조화해 보신 경험이 있다면 더 좋습니다.

 

 

 

새롭게 합류하시는 분들의 온보딩은 어떻게 진행하시나요?

메이트의 적극적인 지원을 통해 소프트랜딩하실 수 있도록 돕고 있어요. 특히 첫 한 달은 메이트의 시간과 리소스를 적극적으로 활용하실 수 있는 기회입니다. 조직에 배치되었을 때 주도적으로 프로젝트를 리드하실 수 있는 역량과 자신감을 갖추도록 이론과 실전을 모두 커리큘럼에 반영하려고 많이 노력했어요.

 

토스의 데이터 환경, 다른 직군과 협업하는 방식은 물론, 데이터 구조화 및 DW 구성 가이드 등 A to Z를 전체적으로 경험하신 후 배치가 이루어집니다. 직무적으로도 많은 성장을 이루실 수 있는 시간이 될 거예요.

 

 

 

마지막으로 미래에 함께하게 될 동료분들께 한 마디 부탁드릴게요.

토스같이 다양한 제품을 다루면서 데이터를 적극적으로 활용하는 환경은 데이터 직군에게는 어려운 도전의 연속이지만, 그만큼 성장의 기회도 많다고 생각해요. 지금도 빠르게 변화하는 토스에서 DAE 동료분들이 어느 때보다 많이 필요한 상황입니다. 관심 있으신 분들 꼭 지원해 주세요!

 

함께 하실 동료 분들을 환영하는 마음으로 기다리고 있어요. 데이터 환경을 개선해 나가는 과정이 쉽지는 않겠지만, 과정이 주는 의미가 크다고 생각해요. 저희 팀 자랑을 살짝 해보면, 팀 분위기가 좋고 가치 있는 성과를 만들어 갈 수 있는 기회가 많이 주어지는 편입니다. 기억에 남을만한 성장을 함께 이루고 싶으신 분들 많은 지원 부탁드립니다!

 

 

---

데이터분석 엔지니어에대해 자세히 알수있었던 시간이었고 특히 고객을 중점으로 생각해 어떻게하면 조금더 편리하고 자주사용할지 생각하며 데이터 분석을하여 완성도높은 결과물을 만드는 것에 흥미로웠다.