Ep7. 빌런즈 인터뷰: 데이터 엔지니어 편

Q. 먼저 자기소개 부탁드려요 :)

태호님: 안녕하세요! 데이터 트라이브에서 플랫폼 챕터 리드로 일하고 있는 조태호입니다. 전체 경력은 18년 정도 됐고, 자비스앤빌런즈에 합류한 지는 1년 10개월 됐어요.

승렬님: 안녕하세요, 이승렬입니다. 저도 태호님이랑 같이 입사해서 1년 10개월 됐고요. 총 경력은 8년 정도 된 거 같네요. 트라이브에서 데이터 엔지니어링 업무를 하고 있습니다.

한수님:안녕하세요, 김한수라고 합니다. 총 경력은 6년, 자비스앤빌런즈에 들어온 지는 4개월 됐습니다. 데이터 트라이브에서 데이터 개발을 맡고 있습니다.

Q. 세분은 어떻게 자비스앤빌런즈에 합류하시게 되었나요?

한수님: 저는 데이터 기반 서비스 개발 과정에서 제가 성장할 수 있는 부분과 기여할 수 있는 부분이 많을 것 같아서 합류하게 됐어요. 이전에 프리랜서 개발자로 2년 정도 일하면서 삼쩜삼을 눈여겨봤었고, 데이터 엔지니어로서 여기서 더 성장할 수 있을 거라고 생각해서 지원하게 됐죠.

승렬님: 자비스앤빌런즈에 합류할 때 기존에 있던 파이프라인을 갈아엎는 시기여서 데이터 파이프라인 개발을 처음부터 끝까지 해볼 수 있다는 점이 매력으로 다가온 거 같아요. 제가 들어왔을 때 삼쩜삼 가입자가 1천만 명 정도였는데, 그 정도의 데이터를 보유한 회사는 거의 없어서 더 좋은 정보를 고객들에게 제공할 수 있겠다고 생각했어요.

태호님: 저는 자비스앤빌런즈가 5번째 스타트업인데요. 직전에 다녔던 스타트업에서 유니콘까지 경험하면서 비슷한 경험을 해볼 수 있는 스타트업으로 가야겠다고 생각하고 많이 찾아봤어요. 그러다 삼쩜삼을 알게 됐는데, 시장에서 지배적인 지위를 갖고 있는 점이 매력적이었고, 유니콘 확률이 높겠다는 생각에 합류하게 되었어요.

Q. 태호님과 승렬님은 전 직장 동료시라고요!

승렬님: 네, 저희가 전 직장에서 이직 고민을 하고 있었을 때, 먼저 삼쩜삼에 합류했던 전 직장 동료분이 데이터 엔지니어 쪽으로 추천을 해주셨어요. 지원 과정에서 태호님이랑 어떤 회사가 데이터 관련해 좋을지 많은 얘기를 나눴었던 게 기억이 나네요.

태호님: 솔직히 다른 회사도 많이 만나 봤는데, 자비스앤빌런즈가 제일 좋았어요. (웃음)

Q. 자비스앤빌런즈 데이터 엔지니어는 어떤 일을 하나요?

태호님: 전사 모든 데이터를 ETL*을 통해 lakehouse*에 모아놓고요. 이 데이터를 기반으로 분석에서 활용하고, BI(비즈니스 인텔리전스)도 활용하고, 서비스에서도 활용할 수 있도록 데이터를 수집, 운영, 관리하고 제공하는 역할을 하고 있어요. 삼쩜삼에서는 서비스와 연결되는 직군 분들이 사용할 수 있는 플랫폼을 계속 제공하는 역할로서 데이터 엔지니어의 업무가 크다고 생각하고 있어요.

*ETL: Extract(추출), Transform(변환), Load(저장소에 적재) 하는 과정

*lakehouse: 데이터 웨어하우스와 데이터 레이크의 장점을 결합한 데이터 관리 아키텍처, 두 가지를 통합하여 구조화된 데이터와 비구조화된 데이터를 하나의 시스템에 저장하고 처리할 수 있도록 하는 방식

Q. 그렇다면 세 분의 역할은 또 어떻게 다른지도 궁금해요.

태호님: 승렬님이 앞단에서 데이터 파이프라인이라고 하는 데이터를 수집, 변환하고 적재하는 일련의 플랫폼 관리를 하고 계시고요. 한수님은 데이터를 활용할 수 있는 플랫폼 개발을 맡고 있어요. 저는 전반적인 관리를 하고 있습니다 :)

Q. 데이터 트라이브가 플랫폼 엔지니어와 분석으로 나뉘어 있어요. 하는 일이 어떻게 구분되나요?

승렬님: 데이터 플랫폼 엔지니어는 분석팀이나 다른 빌런즈 분들을 위해 데이터를 준비해 두는 역할을 하고 있어요. 특정한 데이터를 빠르게 적재적소에 제공하고 사용할 수 있도록 하는 거죠. 데이터 분석은 고객분들이 이해하기 쉽게 그래프나 분석 자료 등으로 가공해서 제공하는 역할을 해요.

Q. 분석에서 원하는 데이터들이 굉장히 디테일 할 거 같은데, 협업 과정은 어떻게 이뤄지나요.

승렬님: 지라 티켓으로 어떤 데이터가 필요하다고 요청 주시면 데이터 플랫폼 위에 올리는 형태로 작업하고 있어요. 다른 팀들도 마찬가지인데요. 추가로 필요한 데이터가 있다고 요청하시면 저희가 직접 데이터를 찾아 제공하거나, 마치 빨대 같은 툴을 개발해서 데이터를 찾을 수 있게 도와드려요. 예를 들면, 새로운 서비스가 생기면, 그 서비스와 저희 데이터 플랫폼을 연결하는 빨대를 구축하는 역할을 저희가 하는 거죠.

Q. 데이터 플랫폼의 안정적인 운영을 위해 가장 중요한 부분은 뭘까요? 주로 어떤 데이터를 다루고 계신 지도 함께 말씀해 주시면 좋을 것 같아요.

태호님: 우선 크게 세 가지 정도로 데이터를 나눌 수 있을 텐데요. 첫 번째가 유저들의 이벤트 데이터예요. 서비스에 들어와서 행동하는 모든 이벤트를 저희가 개발한 SDK*와 이벤트 수집 서버를 통해서 실시간으로 수집하고 있고요. 두 번째는 운영 데이터베이스에 쌓여 있는 테이블 데이터*들이에요. 마지막으로는 익스터널 데이터라고 표현하는, 외부 생성 데이터가 있는데요. 구글이나 페이스북, 카카오, 네이버 같은 데에서 발생하는 광고 데이터들, 앱스토어나 플레이스토어에서 발생된 리뷰 데이터, 언바운스* 같은 데에서 발생하는 데이터를 다 당겨와서 분석이나 BI 애플리케이션 만드는 데 활용하고 있어요. 모든 데이터를 테이블화하고, 각종 로직을 통해 재사용할 수 있는 마트 테이블들을 만들어내고 있어요. 크게 보면 이렇게 세 가지인데, 테이블로만 따지면 진짜 몇천 개나 될 만큼 많은 수치예요. 그리고 안정적인 운영을 위해선 정합성이 제일 중요해요. ‘잘못된 데이터가 제공되는 게 가장 나쁘고, 차라리 제공이 안 되는 게 낫다’는 건데요. 정확하지 않은 데이터는 저희 앞단에 정합성 검증 레이어가 따로 있어서 집요하리만큼 검증하고 통과하지 못하면 제공을 안 합니다.

*SDK(Software Development Kit): 특정 플랫폼이나 프로그램을 개발할 수 있도록 도와주는 도구와 라이브러리의 모음

*테이블데이터: 데이터베이스에 저장된 데이터

*언바운스: 랜딩 페이지를 쉽게 만들고 관리할 수 있는 도구

승렬님: 잘못된 정보가 잘못됐는지는 사실 데이터 팀밖에 알 수가 없는 거라서 그게 잘못 나가면 여파가 크게 미치잖아요. 그래서 정합성 부분이 가장 중요한 거 같고요. 그 다음으로는 데이터에 대한 접근성, 적재적소에 데이터를 제공할 수 있느냐를 중요하게 생각해요. 실제로 데이터가 필요할 때 플랫폼에 올라와 있는지, 그리고 그 정보를 쉽고 편하게 접근해서 잘 사용할 수 있도록 하는 게 중요한 거 같아요.

Q. 비즈니스 성장 속도가 빨라지면서, 데이터 파이프라인 개발/활용에서는 어떤 변화가 있을까요?

태호님: 비즈니스 성장에 따라 데이터를 활용하려는 부서가 점점 많아지고 있는데, 올바른 방향이라고 생각해요. 저희가 적재하고 수집한 데이터를 더 쉽게 서비스에 반영할 수 있도록 다양한 인터페이스를 갖추는 것을 준비하고 있는데요. 다양한 데이터 플랫폼 형태로 분석계와 운영계를 연결하는 역할을 할 수 있도록 많은 시간을 할애하고 있어요.

데이터에 대한 관심이 커지면서 조금 더 빠른 주기로 데이터 업데이트 받기를 원하는 조직이 늘고 있어, 인프라팀과 협업하여 실시간에 가깝게 분석계 데이터들을 업데이트하는 CDC 기법*을 진행해 보고 있어요.

*CDC(Change Data Capture): 데이터베이스에서 일어난 변경 사항을 실시간 또는 거의 실시간으로 추적하고, 이를 다른 시스템이나 데이터베이스에 반영하는 기술

Q. AI 개인화 서비스 경험을 데이터 플랫폼 팀의 하반기 주요 목표로 꼽으셨어요.

태호님: CRM 내재화 작업이 끝나고 그 다음에 어떤 작업을 할지 고민했었어요. 데이터 플랫폼의 다음 아이템으로 개인화 API 제공을 얘기했었고, 용수님(자비스앤빌런즈의 대표)이 생각하는 삼쩜삼의 미래와 부합하는 면이 있어서 OKR의 KR 1번으로 만들어지게 됐어요. 서비스 자체가 개인별로 화면이 바뀌는 거라서 저희만 한다고 할 수 있는 건 아니고요. 거의 모든 직군에서 참여하고 계세요. DA 분들은 모델링하고 계시고, 저희는 AI 플랫폼 개발, 백엔드 분들은 개인화 서버 프로젝트, 프론트엔드 분들과 디자이너, PM 분들도 각각의 역할을 고민하고 계세요. 9월 말 POC*를 목표로 하고 있습니다.

*POC(Proof of Concept): 특정 아이디어나 개념이 실현 가능한지 검증하는 초기 단계의 프로젝트

Q. AI 개인화 과정에서 데이터 엔지니어의 역할에 대해 좀 더 자세히 말씀 주실 수 있을까요?

승렬님: 쉽게 설명해 드리면요. 예전 방식은 서비스를 만드는 사람이 ‘이런 사용자들은 이런 페이지에 더 잘 반응할 거야’에 대한 접근이었다면, 지금 방식은 일단 여러 가지를 보여주고 사용자들이 실제로 어떤 데이터에 반응하는지 살피는 거죠. 그 데이터로 이제 반응하는 걸 보고 다시 피드백 해서 ‘이런 고객이 들어갈 때는 이 페이지에 더 잘 반응할거야’를 데이터적으로 판단하는 거예요. 사람이 내리는 판단은 주관적이고 휘발되기 쉽잖아요. 모델링해서 고객들에 대한 페이지를 다르게 보여준다든지, 메시지를 다르게 보낸다든지 하는 작업들을 하고 있습니다.

Q. 아주 큰 프로젝트일 것 같은데, 어려움이 적지 않을 거 같아요.

태호님: 모든 분이 처음 해보는 거라서 어렵긴 해요. 페이지 하나라도 기능을 만들어서 내보내고 어떻게 동작하는지 인사이트를 얻으면서 lean 하게 해나가야 할 거 같아요. 완벽하게 준비해서는 아무것도 못하거든요. 실패하더라도 빨리 실패하고, 시장의 반응을 보면서 타이트하게 진행하고 있습니다. 모든 유저가 똑같은 화면을 보니 조금이라도 다른 화면을 보여주면 빠져나갈 사용자가 안 빠져나가고 조금 더 관심 있게 서비스를 사용하지 않겠냐 하는 관점이에요.

승렬님: 사실 기존에 데이터 플랫폼 데이터 파이프라인의 최종 목적지는 내부 구성원인데 반해, AI 플랫폼은 실제 사용자, 그러니까 고객분들께는 직접 나가는 정보가 되기 때문에 더 정확하고 더 빠르고 더 안정적으로 개발해야 하는 어려움이 있어요. 내부 구성원이야 조금 틀리고 실패해도 수용이 가능하지만, 고객 분들께는 그러면 안 되잖아요. 그런 부분이 가장 어렵고 도전적인 거 같아요.

Q. 지내시면서 가장 기억에 남는 일이 있다면 소개해 주세요.

한수님: 입사 일주일 만에 5월 종합소득세 정기신고 기간을 맞이하게 됐어요. 온보딩 과정에서 마케터 분들의 요구사항, 스크래핑이 막혔을 때 메시지가 달라져야 하는 환경에 맞춰서 개발을 해야 되는 상황을 맞닥뜨렸어요. 하지만 개발해야 하는 내용에 대해 멘토 태호님께서 빠르게 설명해 주시고, 타 트라이브 분들과의 업무 소통 내용에 대해서도 자세히 공유해주셔서 지연 없이 대응할 수 있었습니다.삼쩜삼 이해를 높이는 데 굉장히 압축적인 경험이었던 거 같아요.

태호님: 5월이 끝나면 이렇게 야근이 많거나 하진 않으니까 나가시면 안 된다고, 꼭 잡고 있었어요.(웃음)

승렬님: 앞에서도 말씀드렸듯이 저는 데이터 파이프라인을 만들어보고 싶은 게 가장 큰 입사 이유였어요. 실제로 데이터 수집을 하는 컴포넌트 개발을 시작으로 파이프라인 구축 일을 끝까지 다했어요. 기존에 사용하고 있는 데이터 형태를 유지하며 더 확장성 있고 새로운 데이터를 쉽게 추가할 수 있는 구조를 0부터 만들어 나가야 해서 챌린징한 과제였는데, 그 구조들을 잡아나가는 경험이 가장 기억에 남아요. 초반 구조를 잘 잡아 두어서 기존에 데이터를 추가하고 접근하는데 일주일 넘게 걸렸던 작업이 1영업일 이내 제공되는 등 작업 효율이 크게 늘어났고, 사용자들도 데이터를 한곳에서 찾고 바로 사용해 볼 수 있는 환경을 제공해 줄 수 있었어요. 이 경험을 바탕으로 컨퍼런스에 나가 발표도 했는데, 가장 큰 성장 경험이었던 거 같아요.

태호님: 데이터 엔지니어의 전통적인 역할이 데이터를 적재해 놓는 거라면, 이 데이터를 전달하는 것까지 연결해야 살아남을 수가 있고, 진정한 역할이라고 생각하면서 일해 왔어요. CRM 내재화 프로젝트를 하면서 생각하는 게 맞고 실제로 매출 확장에 기여를 했으니까 회사의 목적이나 목표가 얼라인 됐구나, 그 경험이 가장 기억에 남는 거 같아요. 짧게 에피소드를 말씀드리면, 왜 CRM을 내재화해야 하고 이걸 데이터플랫폼 챕터에서 해야 하는 이유를 기존 구성원들에게 설득하는 게 쉽지 않았지만, 끝까지 동의를 얻어내서 링딩동 프로젝트를 시작하는 과정이 있었고, 이 과정에서 포기하지 않고 끝까지 설득하는 것 까지도 데이터 엔지니어의 역할이라고 깨닫게 되었어요.

Q. 자비스앤빌런즈에서 경험한 일하는 방식 중 가장 인상적이었던 게 있었다면요?

한수님: 빌런즈분들이 모두 서비스 발전을 위해 매우 적극적이신 거 같고요. 트라이브끼리 밀접하게 업무를 하는 거 같아요. 이전 회사는 독립적인 성향이 강해서 조직문화가 더 인상적인 거 같아요. 서비스를 개발하거나 대응하기 위해 직무 관계없이 슬랙에서 소통하며 이슈 처리하시는 모습들을 보며 저도 자연스럽게 서비스에 애정을 가지게 된 것 같아요.

승렬님: 회사에서 조직문화로 밀고 나가는 것들은 잘 지켜지지 않는 것들이 많잖아요. 근데 빌런즈의 오버커뮤니케이션은 진짜 인상적이었어요. 공개된 채널에서 얘기하는 게 소극적일 수밖에 없는데, 개인의 생각이 틀려도 충분히 용인되는 문화구나, 또 궁금한 걸 찾아보고 할 바에 빠르게 물어보고 답을 구하는 문화도 좋았어요. 뭐 이런 것까지 물어보나 할 정도로 자연스럽더라고요. 일하는 방식 중 하나인 거친도전도 데이터 쪽에서는 명확하게 그려져 있는 편인데요. 부수적으로 뉴스모니터링을 만들어봐야겠다 고 해서 만들었는데 지금도 잘 활용되고 있고, 빌런즈 분들이 필요에 의해 하나씩 만들어놓은 것들이 실제 사용이 되고 권장되는 걸 보면서 이런 게 거친도전이구나, 실제 서비스 품질을 높이는데 밀알이 되는 거구나 하고 느끼고 있어요.

태호님: 여러 회사에 다녀봤는데, 제가 정말 좋아하고 삼쩜삼이 정말 다르다고 느낀 문화는 1년마다 명확한 목표가 돌아오는 건데요. 회사 자체가 5월을 바라보고, 5월을 목표로 하고, 또 5월을 미룰 수는 없는 거잖아요. 보통 회사는 다 미뤄져요. 미뤄지면서 흐지부지해지고 나이브해지는데, 우리는 5월 종합소득세 정기신고가 국가정책이다 보니까 미뤄질 수도 없고 명확한 데드라인이 있는 거예요. 한 조직뿐만 아니라 전사가 한 목표를 향해 달려가요. 저는 이 문화가 너무 좋고 또 약간의 강제성을 띠어야 한다고 생각하는 사람이라 가장 좋은 점인 거 같아요.

Q. 자비스앤빌런즈에서 어떤 일들을 이뤄내고 싶으신가요?

한수님: AI 플랫폼을 단계적으로 발전시켜서 내년 5월에 개인화된 서비스를 제공할 수 있도록 노력할 예정이에요. 그리고, CRM 메시지 플랫폼 개인화를 통해 더 적은 발송으로 더 많은 유입이 가능하도록 개발해 나가려고 합니다.

승렬님: 개인적인 커리어로는 데이터 파이프라인 설계부터 실제 개발, 운영까지 해보는 것이 1차 목표였고, 2차로는 이 데이터 파이프라인에서 만들어지는 데이터가 내부 구성원을 넘어서 실제 유저에게 가치를 전달하기 위한 작업까지 진행해 보고 싶습니다.

태호님: AI 기반의 서비스 개편에 중심이 되어 준비하고 있는 모든 기능을 성공적으로 릴리즈 & 매출에 기여하고 싶습니다.

Q. 자비스앤빌런즈의 데이터 엔지니어로서 어떤 성장을 경험할 수 있을까요?

한수님: 데이터 파이프라인 개발부터 서버 개발, AI 모델 서빙 플랫폼 구축에 참여할 수 있어요.

승렬님: 잘 모아둔 데이터가 본격적으로 가치를 만들어내는 시기라고 볼 수 있을 것 같습니다. 실제로 데이터가 어떻게 서비스에 기여할 수 있는지, 그러기 위해서는 데이터 엔지니어링 측면에서 어떤 것들을 미리 준비해야 하는지 함께 제로부터 시작해 볼 수 있을 것 같아요.

태호님: 한국스타트업중에 이 정도 볼륨과 정확성을 지닌 데이터를 다루는 스타트업은 흔치 않습니다. 보통은 데이터가 없어서 고민인데요, 자비스앤빌런즈에서는 다양한 데이터로 해볼 수 있는 아이템이 넘쳐나며 그로 인해 입사 하자마자 다양한 경험을 하실 수 있어요.

Q. 어떤 동료와 일하고 싶으신가요?

한수님: 본인의 한계를 두지 않는 분과 같이 일하고 싶습니다.

승렬님: 데이터의 특성상, 이 정도는 괜찮겠지하고 넘어가는 작은 문제가 이후에 커다란 이슈로 다시 돌아오는 경우가 대부분이라, 작은 문제라도 해결을 위해 적극적으로 더 세밀하고, 깊게 파고드는 스타일이었으면 좋겠습니다.또 잘했을 때보다 못했을 때 티가 많이 나는 업이라 멘탈 관리도 잘하실 수 있어야 할 것 같네요.

태호님: 커뮤니케이션이 유하고, 멘탈이 강하신 분!

Q. 마지막으로, 예비 빌런즈에게 짧게 한마디 부탁드려요!

한수님: 데이터를 기반으로 새로운 플랫폼 개발을 경험하고 싶으신 분들 도전하시죠!

승렬님: 데이터를 좋아한다면 우리나라에서 여기보다 더 데이터를 가지고 놀 수 있는 회사는 없을 것 같아요. 열심히 모아둔 데이터들을 가지고 이제 재미있게 만들 일만 남아서 함께 즐겁게 일해보시죠!

태호님: 대용량 데이터에 목마르신 분, AI 기술을 서비스에 적용해 보고 싶으신 분. 어서 오십쇼

글 | 박상준
기획 | 임지연
디자인 | 조재원