뱅크샐러드 Data Engineer는 무슨 일을 하나요?

뱅크샐러드 Data Engineer는 모든 구성원이 뱅크샐러드 데이터에 편하게 접근하고, 분석할 수 있는 환경을 제공하는 데 집중합니다. 데이터 파이프라인과 인프라 구축에 그치지 않고, 구성원 누구나 데이터 기반의 임팩트를 창출할 수 있도록 도와주는 것인데요!

오늘은 뱅크샐러드의 모든 데이터와 인사이트가 제품에 쉽게 활용될 수 있도록 데이터 플랫폼을 만들고 관리하는 Data Engineer 분들의 이야기를 소개해드리려 합니다. 함께 살펴볼까요?

뱅크샐러드 Data Engineer 에게 무엇이든 물어보세요!

Data Engineer 분들의 일상을 소개해 드리기에 앞서, “고객들은 무엇을 궁금해할까?”라는 질문을 던져보았어요. 우리가 알리고자 하는 에피소드도 좋지만, 뱅크샐러드에 합류하고 싶은 개발자나 디자이너가, 뱅크샐러드 서비스를 애용하는 유저가 궁금해하는 것들은 무엇일까를 고민하면서 말이죠.

그렇게 누구나 뱅크샐러드 팀에 궁금한 질문을 남길 수 있도록 Survey를 마련했습니다. 응답해주신 모든 분께 감사의 말씀을 전하며, 수집된 질문 중 가장 궁금해하는 질문 TOP 5에 대한 Data Engineer의 답변을 소개해 드릴게요!

Q. 데이터 엔지니어는 어떤 일을 하나요?

A. 뱅크샐러드 데이터 엔지니어는 뱅크샐러드에 모인 데이터들이 사내에 잘 흐를 수 있게 도와주고, 데이터에서 얻은 가치와 인사이트를 다시 고객에게 전달하는 역할을 수행합니다. 데이터 엔지니어가 속한 데이터플랫폼 팀은 ‘뱅크샐러드의 모든 데이터와 인사이트가 제품에 쉽게 활용될 수 있는 데이터플랫폼을 만든다’라는 미션을 가지고 있는데요!

작년에는 사내에 더 많은 데이터를 모으고, 데이터 분석가들이 데이터를 손쉽게 분석할 수 있는 사이클을 만드는 것에 집중했어요. 뱅크샐러드에서 생성되는 모든 데이터를 모으고, 이것들을 ‘데이터레이크’라는 형태로 저장하는 일들을 주로 하면서요. 그리고 데이터레이크에 있는 데이터들을 가공하며 ‘데이터마트’라는 형태로 만들 수 있도록 하였는데요.

그 결과 이제는 데이터레이크 플랫폼에서 데이터를 수집하고 가공하는 일련의 과정을 데이터 사용자가 직접 개발하고 운영할 수 있게 되었습니다! 그래서 저희는 요즘 수집된 데이터와 인사이트가 뱅크샐러드 고객에게 데이터 제품으로서 제공되도록 하는 ‘에코시스템’을 만드는 데에 더욱 집중하고 있어요.

Q. 데이터 플랫폼 팀은 얼마나 많고 다양한 데이터를 수집하고 있나요?

A. 뱅크샐러드 서비스는 수백 개의 마이크로서비스 서버들로 이루어져 있어요. 수많은 서버들과 뱅크샐러드 어플리케이션에서 발생하는 사용자 이벤트는 기본적으로 수집하고 있습니다. 또 수백 개의 DB 데이터를 매일 스냅샷 형태로 데이터레이크 플랫폼에 적재하기도 하는데요. 특히 뱅크샐러드의 최근 화두가 금융 마이데이터인 만큼, 데이터플랫폼 팀에서는 마이데이터 요청과 응답 값들도 데이터플랫폼에 안전하게 수집하고 있습니다.

매일매일 사용자 이벤트와 스냅샷이 적재가 되고 있어요. 그래서 일반적으로는 보기 힘들었던 복잡한 쿼리와 과거 데이터 조회가 필요한 추이 등을 확인하는 것도 가능한데요! 이런 복잡한 쿼리 결과를 일회성으로 볼 수 있을 뿐 아니라, 주기적 실행과 적재를 가능케 하여 여러 서비스의 데이터가 결합되고 계산된 새로운 데이터를 ‘데이터마트’라는 형태로도 수집하고 있습니다.

Q. 올해 데이터플랫폼 팀만의 미션이 있다면요?

A. 앞서 언급한 것처럼, 데이터플랫폼팀의 미션은 ‘뱅크샐러드 모든 데이터와 인사이트가 제품에 쉽게 활용될 수 있는 데이터플랫폼을 만든다’ 입니다. 작년에 더 많은 데이터를 수집 및 분석하고, 가공을 쉽게 할 수 있는 인프라 문제를 많이 풀었는데요. 그 과정에서 데이터플랫폼 사용자들이 찾은 새로운 가치와 인사이트가 아주 많았어요. 자연스럽게 그 가치를 다시 고객에게 돌려줄 수 있지 않을까? 라는 생각을 하게 되어, 데이터플랫폼에서 만들어낸 데이터를 제품화하려는 시도도 많이 했고요.

올해 데이터플랫폼 팀의 가장 큰 관심사는 분석 과정에서 생성한 데이터와 인사이트를 고객에게 전달하는 사이클을 쉽게 만드는 것이에요. 이를 위해 최근에는 데이터서빙이라는 서비스를 개발하는 중인데요! 데이터 서빙은 분석계에서 만들어진 데이터를 쉽게 API화할 수 있도록 하는 문제들을 풀어냅니다. 데이터서빙을 통해 뱅크샐러드의 ‘금융쇼핑’, ‘내 자산 순위’ 등의 기능이 출시되기도 했어요!

Q. 자랑하고 싶은 뱅크샐러드 데이터 엔지니어들만의 기술 문화가 궁금해요!

A.먼저 코드 리뷰 문화가 잘 자리잡혀 있어요. Pn 커뮤니케이션 방법을 통해 꼭 코드에 반영했으면 하는 내용, 가벼운 코멘트로 남기는 내용 등을 구분할 수 있어 커뮤니케이션이 용이합니다. 또 내가 작성한 코드에 대해 팀원들의 다양한 리뷰를 받을 수 있어 혼자서는 미처 생각하지 못했던 방법들도 알아갈 수 있어요!

사실 가장 자랑하고 싶은 데이터 플랫폼 팀만의 문화는 바로 페어(Pair)로 일하는 방식이에요. 프로젝트나 기능을 만들 때 한 사람이 독단적으로 구현하는 게 아니라, 두 명 또는 여러 명이 함께 작업하는 방식을 말하는데요! 어떤 업무를 수행하든 부담감은 줄이고 팀원과의 시너지 효과를 낼 수 있는 장점이 있죠. 또, 내가 진행하고 있는 업무의 맥락이 자연스럽게 팀에 전파되고 녹아드는 효과도 있는데요. 덕분에 팀 내 커뮤니케이션 비용은 줄이면서 개발은 빠르게 수행해내는 두 마리 토끼를 잡을 수 있어요!

마지막으로 건강한 피드백 문화도 소개해 드리고 싶은데요. 누구나 주도적으로 업무나 논의하고 싶은 사항을 제안했을 때 팀의 적극적인 피드백을 받을 수 있어요. 서로에 대한 신뢰와 존중이 바탕이 되어있어서, 과감하지만 편안한 커뮤니케이션이 가능하다고 생각해요. 팀 내에 심리적 안정감이 갖춰져 있다 보니 업무를 하면서도 자기 만족감과 소속감을 잘 느낄 수도 있고요!

Q. 마지막으로 데이터 엔지니어는 어떤 역량과 스킬을 갖춰야 할까요?

A. 많은 데이터를 처리하는 분산 처리 시스템과 데이터를 활용하는 플랫폼을 만들어야 하기 때문에 백엔드 기저에 대해 탄탄한 기반 지식을 가지신 분을 선호해요. 또 저희 팀은 새로운 아이디어를 기획하고, 제품을 만드는 과정에서 다양한 기술 스택을 넘나들며 일하는 경우가 많아서 제품과 기술의 성공을 위해 열린 마음으로 일할 수 있는 분이면 좋겠습니다!

데이터플랫폼 팀뿐 아니라 뱅크샐러드는 다양한 직군과 마주하며 협업하는 경우가 많아요. 협업 과정에서 신뢰와 존중을 기반으로 커뮤니케이션할 수 있고, 새로운 아이디어를 두려움 없이 구현할 수 있는 분이라면 뱅크샐러드에서 더 빠르게 성장할 수 있을 것 같습니다!

마치며

뱅크샐러드 데이터 엔지니어 분들에 대한 궁금증은 해소가 되셨나요? 뱅크샐러드 데이터플랫폼 팀에서 금융 데이터를 어떻게 적재하고 분석하여 서비스에 반영할 지를 함께 고민하고 싶은 분들은 아래 버튼을 클릭하여 채용 사이트도 방문해주세요! 채용 중인 다양한 포지션과 뱅크샐러드가 일하는 방식도 확인할 수 있습니다 :)

좋은 인연으로 만나 뵙길 바라며 오늘은 여기서 이만 인사드립니다. 감사합니다.