Backend Engineer 김창규님 인터뷰
하루 약 20억 건 이상의 대용량 트래픽을 다루는 Backend Engineer - Data Pipeline
Q. 창규님, 안녕하세요. 간단한 자기소개 부탁드릴게요.
A. 안녕하세요. 저는 Data Pipeline 구축과 관리 업무를 담당하고 있는 Backend Engineer 김창규입니다. AB180에 합류한지 벌써 3년이 조금 넘었네요. AB180에서 일하고 있던 친구의 소개로 회사에 대해 알게 되었는데, 당시 AB180은 글로벌 진출과 팀 확장이 막 시작되는 시점이었어요. 저의 경험이 회사에 큰 기여를 할 수 있을 것 같아서 합류를 결정하게 되었습니다.
Q. 창규님이 하고 계신 Data Pipeline 업무는 AB180에서 어떤 역할을 하고 있나요?
A. AB180에서는 에어브릿지라는 모바일 광고 성과 측정(MMP, Mobile Measurement Partner) 솔루션을 제공하고 있어요. 여러 채널에서 발생하는 광고 성과 데이터를 광고주가 한눈에 볼 수 있게 해주는 서비스라고 할 수 있죠.
저는 이 중에서 Data Pipeline 업무를 맡고 있는데요. 하루 20억 건이 넘는 행동 데이터와 다양한 광고 채널에서 들어오는 데이터를 모두 모아서 인과 관계를 분석하고, 데이터를 안전하게 저장하는 역할을 하고 있습니다. 이렇게 모아진 데이터는 Query Engine이나 Report 기능을 통해 검색 집계되어 광고주에게 인사이트를 제공하는 데 활용돼요.
정리하자면 제가 맡고 있는 Data Pipeline 업무는 대용량 트래픽을 실시간으로 처리하면서 데이터의 신뢰성과 효율성을 높이는 것이 핵심이라고 할 수 있습니다.
Q. 어려운 업무를 수행하고 계신 것 같은데 동료들과는 어떤 방식으로 일을 하고 있나요?
A. 개인적으로 회사의 Working Principle 중 “Focus on Impact”를 가장 중요하게 생각해요. 일을 하다 보면 하고 싶은 일, 해야 하는 일, 하면 좋을 일이 많을 수밖에 없는데, 시간과 인력은 한정적이기 때문에 업무의 임팩트를 기준으로 우선순위를 정하려고 노력합니다.
Backend Team은 비용 절감 효과가 큰 작업이나 잠재 고객을 유치할 수 있는 작업, 많은 고객이 겪는 불편을 해소하는 작업처럼 임팩트가 큰 일부터 집중하고 있어요. 그리고 이런 방식이 더 잘 작동하도록 애자일 방식을 도입해서, 2주 단위로 실행과 회고를 반복하면서 점진적으로 시스템을 개선해 나가고 있습니다.
Q. 입사 후 가장 기억에 남는 프로젝트나 순간이 있는지 궁금해요.
A. 서버 비용 최적화 프로젝트가 가장 기억에 남아요. 이 프로젝트는 서비스 제공에 발생하는 비용을 명확히 하고, 투입되는 시간과 인력 대비 절감 효과를 계산해서 개발 우선순위를 정하는 방식으로 진행됐어요. 대부분의 Backend Engineer가 함께 붙어서 작업했던 프로젝트였죠.
우선 어떤 기능을 제공하는 데 트래픽당 얼마나 많은 비용이 발생하는지 알 수 있도록 비용 가시성을 높이는 엔지니어링 작업을 했어요. 그 다음 비용 데이터를 수집하고 분류해서, 실제로 얼마나 많은 비용이 쓰이는지 집계했고, 기능이나 컴포넌트별로 비용을 최적화할 수 있는 아이디어도 내보고, 이 아이디어가 얼마나 많은 비용을 줄일 수 있는지 평가도 했습니다.
이를 바탕으로 공수 대비 가성비가 좋은 작업을 우선적으로 처리했습니다. 한 번에 많은 기능을 고치기보다 작은 단위로 계획하고 실행하고 확인하는 2주 단위 스프린트 방식으로 진행했어요. 2주마다 실제 결과에 대한 리뷰와 브레인스토밍도 반복했는데, 이 과정에서 뜻밖의 창의적인 개선 방안이 나오기도 했습니다.
이 프로젝트는 앞서 말씀드린 “Focus on Impact”라는 우리의 Working Principle이 가장 잘 드러났던 사례라고 생각해요.
Q. 현재 창규님이 업무적으로 고민하고 있는 가장 어려운 도전과제는 무엇인가요?
A. 행복한 고민이긴 합니다. 최근 고객사, 특히 해외 고객사가 크게 늘어나면서 트래픽이 폭발적으로 증가하고 있어요. 기존에 설계한 용량을 이미 넘어서는 상황도 자주 발생하고, 단순히 서버를 증설하는 것만으로는 해결이 어려운 케이스도 생기고 있습니다. 과거에는 볼륨이 작아서 비효율적으로 처리해도 별문제가 없었던 부분도, 이제는 고객사가 늘어나면서 재설계가 필요한 경우가 많아졌죠.
이에 더해서 고객 대응 방식에 대한 고민도 있습니다. 예전에는 소수의 인원이 각각의 문의나 요청을 직접 대응할 수 있었지만, 이제는 고객사와 파트너사가 늘어남에 따라 그 방식으로는 더 이상 감당이 어려워졌어요. 그래서 반복되는 요청이나 이슈는 표준화해서 플랫폼 형태로 서비스할 수 있도록 고도화해야 한다는 필요성이 커졌습니다.
예를 들어, 광고 채널에 데이터를 전달하는 과정은 예전에는 엔지니어가 직접 개발해서 처리했지만, 지금은 여러 국가에서 매체 연동이 산발적으로 이뤄지다 보니 매번 개발자가 투입될 수 없는 상황이 되었어요. 그래서 최근에는 광고 채널에 데이터를 전달하는 과정을 템플릿으로 표준화해서, 채널과 협업하는 매니저가 직접 처리할 수 있도록 플랫폼화 했습니다. 앞으로도 이런 표준화나 플랫폼화가 더 많은 영역에서 필요해질 것 같아요.
Q. 창규님이 함께 하고 싶은 동료는 어떤 분인가요?
A. 저는 회사의 Working Principle 중 하나인 “Radically Think Why”에 공감해요. 어떤 문제를 마주했을 때, 단순히 표면적인 해결책을 찾는 것이 아니라, 그 문제의 본질을 깊이 탐구하고 근원적인 원인을 찾아 해결할 수 있는 동료와 함께 일하고 싶어요. 실제로 저희 팀은 채용 인터뷰에서도 이런 딥 다이브 경험, 즉 어떤 문제를 발견해서 그 근본 원인까지 파고들어 해결한 경험을 가장 중요하게 평가하고 있습니다.
또한 요즘은 AI가 업무에 많이 활용되고 있어서, 단순히 코드를 작성하는 능력보다는 적응력이 더 중요하다고 생각해요. AI에게 올바르게 지시해서 원하는 결과를 이끌어내고, 그 결과물을 평가하고 개선할 수 있는 능력이 점점 더 필요해지고 있습니다. 그래서 저는 단순히 코딩 경험이 많은 사람보다는 문제를 명확하게 정의하고, 해결 방향을 잡아서 결과물의 수준까지 높일 수 있는 동료와 함께 일하고 싶어요.
Q. 창규님과 함께 AB180에서 일하면 어떤 것이 좋은지 자랑해 주세요.
A. Backend Engineer로서 가장 큰 장점은, 하루 20억 건 이상의 대용량 트래픽을 직접 다뤄볼 수 있다는 점이에요. 이렇게 많은 트래픽이 쏟아지는 환경에서 어떻게 하면 안전하게 서비스를 구축할지, 데이터 변경 사항을 어떻게 신속하고 정확하게 고객에게 전달할지 고민하고 실질적으로 경험해 볼 수 있습니다.
또한, 저희 회사는 FinOps를 매우 잘하고 있다고 자부할 수 있습니다. 클라우드 상에서 발생하는 비용을 팀 단위 및 컴포넌트 단위로 정리하여 가시성을 확보하고, 주기적인 리뷰를 진행합니다. 이를 통해 서버 비용 최적화에 대한 목표를 세우고, 실제 비용 절감 및 효율성 개선에 대한 성과를 직접 만들어볼 수 있습니다.
그리고 다양한 국내외 파트너와의 협업 기회도 많아요. Google, Meta, TikTok과 같은 글로벌 빅 테크부터 국내외 애드테크 파트너와 함께하는 프로젝트를 경험할 수 있습니다. 회사가 점점 더 세계로 확장해가며 영어로 커뮤니케이션하는 빈도도 늘고 있어서, 글로벌 팀에서 일하는 경험도 쌓을 수 있습니다.
* FinOps : 클라우드 상에서 재무, 개발, 운영을 결합하여 비용을 효율적으로 관리하는 framework 혹은 문화
Q. 마지막 질문이에요! AB180에서 앞으로 이루고 싶은 목표나 비전은 무엇인가요?
A. 입사 3년이 된 올해, 드디어 에어브릿지가 국내 MMP 1위를 달성했습니다. 커머스 분야 1위, 금융 분야 1위를 넘어 한국 시장 전체 1위가 되었는데요, 이러한 추세를 이어가 글로벌 1위 B2B SaaS로 거듭나는 것이 저의 목표입니다. 단일 region으로 운영 중인 서버를 국가 별 multi-region으로 운영해 보고 싶어요. 또한 유럽의 개인정보보호 규제 인증을 취득하여 국가 간 시차를 고려한 서버 작업 시스템을 직접 구축해 보고 싶습니다.