Ep6. 빌런즈 인터뷰: QA 엔지니어 편

Q. 먼저 자기소개 부탁드려요 :)

도현님: 저는 플랫폼 QA 트라이브에 소속돼 있는 김도현입니다. 7년 차 QA 엔지니어이고, 자비스앤빌런즈에 합류한 지는 2년 3개월 정도 됐어요. 모니터링이나 테스트 부문에서 자동화를 구축하는 역할을 담당하고 있어요.

주연님: 저는 김주연이라고 하고요. 전체 경력은 5년 차, 자비스앤빌런즈에 들어온 지는 1년 조금 넘었어요. 현재 IIT(Individual Income Tax) 소속으로 종합소득세 서비스 전반을 검증하고 있습니다.

윤아님: 저는 황윤아고, 입사한 지는 2년 2개월 정도 됐습니다. QA 13년, 개발 경력 5년 해서 벌써 18년 차네요. TSP(Tax Service Provider) 소속으로 부가가치세 같은 사업자 관련 환급 서비스, 세무사 신고 서비스를 하고 있어요.

Q. 다른 QA 엔지니어분들이 더 계시나요?

윤아님: QA 엔지니어는 저희 외 2명이 더 있어요. 저희와 마찬가지로 IIT와 TSP에 소속되어 있어요.

Q. 자비스앤빌런즈에 합류하시게 된 계기가 궁금해요.

주연님: 저는 이전에 협력 회사에서 일했어요. QA는 외주 용역을 하는 협력 회사가 많은데, 아무래도 소통 과정이나 업무 처리에서 불편한 점이 많아 본사 소속에 대한 갈증이 있었거든요. 그러다 자비스앤빌런즈가 눈에 띄었는데, 면접 과정에서 면접관들이 QA 직무에 대한 전문성을 갖고 계신다고 느꼈어요. 사내 분위기도 좋아 보이고요.

도현님: 저는 전 직장 동료가 삼쩜삼에 이력서를 넣었다면서, 비전이 있어 보이고, 제 자격도 뒤처지지 않는 거 같으니 꼭 지원해 보라고 말씀을 주셨어요. 지원 과정에서 자비스앤빌런즈에 대해 더 찾아보게 됐고요. 그렇게 찾다 보니, 여기가 이전 회사보다 잠재력이나 방향성이 뚜렷했고, 성장하고 있는 회사여서 더 좋을 것 같다고 생각했어요.

윤아님: 엔지니어분들은 보통 헤드헌터분들을 통해 여러 회사에 이력서를 넣어요. 근데 한 헤드헌터분이 어떤 회사가 지원자들을 다 떨어뜨린다고, 제 이력서를 넣어보고 싶다고 하시는 거예요. 그렇게 서류에 합격했는데, 그 회사가 자비스앤빌런즈였어요. (웃음) 회사 이름을 듣고 찾아보니 삼쩜삼 서비스를 만든 곳이더라고요. 저는 원래 큰 회사에 다니다가 조직문화가 별로였던 스타트업을 잠깐 경험한 적이 있어서 스타트업은 안 가려고 했었어요. 근데 워케이션도 있고 복지가 매력적이더라고요. 솔직하게는 그 부분이 끌렸어요.

Q. 자비스앤빌런즈 QA 엔지니어는 어떤 일을 하나요?

도현님: QA 엔지니어에 대한 이해가 부족할 수 있는데요. 저는 고깃집에 비유해서 설명을 해드려요. 저희가 고깃집에 가서 삼겹살 2인분을 시키면 수저 세트가 차려져 있거나 그렇지 않은 경우가 있죠. 반찬도 여러 개 나와요. 고기를 구울 때도 연탄불이 있고, 가스가 있을 수도 있죠. 이런 전체 기획을 PM(프로덕트 매니저)분들이 하시는 거고요. 거기서 금수저를 쓸지, 나무 수저를 쓸지, 반찬은 어떤 그릇에 담을지는 디자이너분들이, 음식을 만드는 건 개발자분들이 담당하시게 돼요. 저희는 이제 손님 역할을 하는 건데요. 수저가 차려져 있는 게 편한지 아닌지, 고기를 시켰을 때 소금만 내올지, 아니면 와사비도 같이 내올지 같은, 손님(유저)으로서 먼저 경험하고 피드백을 드리는 거예요. 그 과정에서 직원들의 리소스도 고려하고요. 무언가를 기획하고 만들며 디자인할 때는 QA 엔지니어가 있어야 해요. 삼쩜삼은 특히 세무 쪽으로 특화가 돼 있잖아요. 삼쩜삼 품질이 이상이 없어야 하고, 엣지 케이스*나 다른 이상 있는 동작을 했을 때도 QA 엔지니어가 이미 고려해서 품질을 보장할 수 있는 역할을 한다고 보시면 되어요.

*엣지 케이스 (Edge Case): 엣지 케이스는 시스템의 경계나 극한 조건에서 발생할 수 있는 예외적인 상황이나 입력을 의미한다. 일반적인 사용 조건에서는 자주 발생하지 않지만, 특정한 극한 상황에서 시스템이 어떻게 작동하는지를 확인하기 위해 테스트해야 하는 시나리오

윤아님: QA 엔지니어 같은 경우 프로세스 전반을 확인해요. 우리가 이렇게 개발했을 때 안 좋았으니 이런 부분은 개선을 하자, 아니면 빌드*나 머지* 관련해서 룰이 정확하지 않을 때 사용자들이 사용해야 하는 버전이 아니라 다른 버전이 나가는 경우도 있거든요. 그런 것까지도 다 관리하는 게 QA 엔지니어의 업무인 셈이죠. 삼쩜삼은 조금 다른 특색도 있는데요. 사인오프라고, QA 엔지니어가 품질을 보증한다고 서명해서 공표하는 작업인데, 보통은 QA가 권한이 있지만 여기 자비스앤빌런즈에서는 PM 분들이 권한을 갖고 있어요. 아마 이 부분에 대해서 부정적으로 보시는 분들도 계실 것 같지만, PM 분들과 매우 긴밀하게 커뮤니케이션하며 업무를 진행하고 있어서 원활한 협업이 이루어지고 있다는 점을 강조드리고 싶어요.

*빌드(Build): 소스 코드를 컴파일하여 실행 가능한 프로그램이나 소프트웨어 패키지로 변환하는 과정

*머지(Merge): 여러 개의 소스 코드 변경 사항을 하나의 코드베이스로 통합하는 과정

Q. 삼쩜삼 서비스를 테스트할 때 QA가 가장 중요하게 생각하시는 부분은 뭔가요?

주연님: 테스트에서 가장 중요한 건 사용자의 편의성일 것 같아요. 삼쩜삼 자체가 사용자가 신뢰해야 하는 서비스잖아요. 신뢰할 수 있을 만큼 테스트를 해야 한다고 생각해요. 기획에 대한 테스트는 당연히 모두 진행하는 것이고, 그 이외의 사용자가 사용했을 때 불편한 점은 없는지. 유저가 납득하고 신뢰할 만한 서비스로 보이는지에 염두를 두는 것 같아요.

도현님: 삼쩜삼은 종소세 정기 신고 기간인 5월에 사용자가 몰리는데, 트래픽이 몰리는 걸 대비해서 부하 테스트*나 스트레스 테스트*를 많이 해요. 저희도 네트워크 상황 등이 안 좋을 때 어떻게 대비하고, 처리를 하는지 중요하게 보고 있어요. 에러가 났을 때 홈 화면이나 웹에서 사용자에게 어떻게 노출되고, 이해될 수 있는지도 중요하게 보고요. 문구나 에러 같은 것도 그렇고요.

*부하 테스트: 부하 테스트는 성능 테스트의 하위 집합으로, 임계치 한계에 도달 할 때까지 시스템의 부하를 지속적으로 증가시켜 시스템을 테스트하는 것을 의미한다.

*스트레스 테스트: 어플리케이션 실행 시 필요로 하는 리소스의 허용하는 한도를 넘어서서 비정상적인 높은 부하를 발생시켜 보는 테스트를 말한다.

Q. 서비스 배포되기 전까지 QA가 개입하는 전반적인 프로세스가 궁금해요.

윤아님: PM 분들이 기획을 짜오시면 다 같이 공유하고 아이데이션을 해요. 저희는 이렇게 했을 때 경험상 사용자들이 어려워하지 않았나, 에러율이 높았을 거 같은데 쉽게 될까 같은 의문을 제기하고요. 디자인 시안이 나오면 화면 넘어갈 때 불친절하지는 않은지 등을 점검해요. QA 엔지니어는 실제 서비스를 사용하는 사용자 입장에서 생각해요. 어떻게 하면 더 편하게 사용할 수 있을지에 대해 중점을 두고, 꼼꼼하게 확인하죠. 디자이너분들과 크로스체크도 하고요. 파트너 세무사분들이 쓰셨던 신고 툴의 경우에는 전문 용어 하나하나 다 확인해요. UI나 로직을 확인한 다음에 PM, 개발자분들과 협의해서 이 버전 그대로 나갈지, 아니면 수정해서 다시 QA를 진행할지 판단하죠. 다만, 급하게 진행하는 경우가 발생할 경우, QA 없이 우선 배포하고, 나중에 확인하는 작업을 하기도 해요.

Q. 개발자분들과 밀접하게 협업하시잖아요. 협업을 잘하기 위해 중요한 역량은 뭐라고 생각하시나요?

주연님: 커뮤니케이션인 거 같아요. 일부에선 QA 엔지니어를 개발자들을 괴롭히는 역할을 한다고 생각하시기도 한데요. (웃음) 근데 저는 그 반대 역할이라고 봐요. 개발이 완료되기 전에, 예외 케이스나 고려되지 않았던 사항은 없는지 확인하고 논의해서 더 나은 방향으로 이끌어갈 수 있어요. 그래서 커뮤니케이션이 중요하고요. 이런 커뮤니케이션을 평소에 잘할 수 있도록, 저 같은 경우에는 업무 외적으로도 대화를 많이 해서 딱딱한 분위기를 누그러뜨리려고 노력해요.

도현님: 내가 뭘 하고 있는지 공유하는 게 중요하다고 봐요. 개발자분들은 얼마나 개발이 됐는지 공유하고, 저희는 어느 정도 테스트하고 있는지 얘기하고. QA 엔지니어는 일정을 항상 공유해 드려요. 일주일 안에 테스트가 끝날 거 같다 싶으면 4~5일이 됐을 때 진척 속도를 판단해서 기한 안에 끝낼지, 아니면 시간이 더 필요한지 즉시 공유하죠. 공유하지 않으면 개발에 차질을 빚을 수 있어요. 서로 원활한 공유를 하는 게 중요해요.

윤아님: 저도 커뮤니케이션이 중요한 거 같은데요. QA 엔지니어로 지내면서, 제 입에서 나온 말 중에 좋은 게 하나도 없는 거예요. 오타 있다, 기획서랑 다르다 등등 좋은 말이 없잖아요. 보통 내부 테스트는 개발팀에서 하는 테스트라고 생각하기 때문에, QA 엔지니어가 테스트를 수행, 결함이라고 판단해서 issue를 제기하면 개발자 분들 입장에선 유쾌하지 않죠. 자존심 센 분들은 내가 짠 로직이 잘못된 거냐고 생각하실 수도 있고요. 다른 분들도 제가 제품 얘기를 하려고 하면 “왜요? 문제 있어요?”라는 말을 많이 해요. 그래서 평소에 지낼 때, 친밀감을 많이 쌓으려고 노력해요. 불편한 얘기를 했을 때, 이 사람이 나를 괴롭히려는 게 아니라는 신뢰감을 형성하는 거죠. 또 PM이나 개발자분들의 성향을 판단하는 것도 중요해요. QA 엔지니어 책에도 나오는데요. 휴가를 떠나기 전이나 인생에 특별한 이벤트가 있을 때 버그가 많다고 해요. 그래서 저는 이분들의 스케줄을 항상 확인해요. 직업병 같은 거죠. (웃음)

Q. 지내시면서 가장 기억에 남는 일이 있다면 소개해 주세요.

주연님: 서비스를 하다보면 짧은 기간 안에 해내야 하는 경우가 많아요. 올해 3월에 부양가족 리뉴얼 하는 프로젝트가 있었는데 주어진 기간이 짧았어요. 제가 기획 단계부터 참여했던 것도 아니어서 더욱 어려웠고요. 직후에는 다른 QA를 해야 하는 상황도 있었어요. 많은 케이스를 봤어야 했는데, 테스트 환경이 쉽지 않았고요. 타이트한 출시 일정에 맞추어 작업해야 하는 상황에서는, 어떤 기능을 우선시할지 결정하는 것이 중요한 것 같아요. 모든 기능을 충분히 테스트할 시간이 없을 때, 우선순위를 결정하여 중요한 부분에 집중해서 테스트했어요. 그래서 다행히도 미리 계획했던 기간 안에 최대한의 커버리지를 보장할 수 있었어요.

윤아님: 저는 실패 케이스가 생각나네요. 이번 5월을 맞아서 세무사 신고 서비스를 개선했어요. 그 과정에서 세무기획을 담당하고 계시는 분들과 담당할 영역을 나눴는데, 결과적으로 둘 다 챙기지 못한 일이 있었어요. 이 부분은 세무 기획자 분들이 챙기겠지, 했는데 놓쳐버렸죠. 그리고 세무 지식이 짧아 어렵기도 했어요. 사용자인 세무사분들의 눈높이를 가져가야 했는데, 충분한 배경지식이 없었다 보니 5월이 좀 힘들었어요. 삼쩜삼 같은 경우 고객이 세무 지식 없이도 사용할 수 있는 서비스를 만드는 건데, 세무사 신고 서비스에선 관련 지식이 필요하다는 걸 깨달았죠.

도현님: 작년 말에 QA 엔지니어들과 함께 자동화를 시도했어요. 모두 자동화 필요성을 인지했고, 저희도 성장에 대한 욕구가 있었고요. 실제로 지난해 말에 스터디도 하고 의욕적으로 시도하다가 5월 종소세 준비를 하면서 리소스가 부족해 석 달 만에 흐지부지됐어요. 조금 여유가 생겼으니까 자동화 작업을 다시 해보려고 해요. 지금은 혼자 해보고 있는데요, 사용자가 이용하는 서비스는 모두 자동화할 예정이에요. 앱과 웹, 저희 어드민과 세무사 신고 서비스 툴 등 정해진 시나리오대로 테스트를 진행하는 것을 자동화할거에요. 서비스 수정 사항이 있으면 수정된 부분을 보기 위해 기본 동작부터 봐야 하는데, 자동화가 완성되면 그런 과정을 줄여주기 때문에, 정말 필요하고 중요한 작업이죠.

Q. 하반기에 QA 엔지니어들이 집중하고 있는 과제는 무엇인가요?

윤아님: 소속된 트라이브마다 다를 것 같아요. 우선 저의 경우는, 세무사 신고 서비스 툴에 기능이 계속 추가되면서 테스트 케이스가 계속 늘어나고 있어요. 테스트 케이스를 새로 만들어서 적재해야 하는데, 사용자 로직 등 기능을 확인하기 위한 작업에 집중하고 있어요. 또, 10월에 종합부동산세 서비스가 출시될 예정이어서 가장 고민이 되는 프로젝트이기도 하고요

주연님: 테스트 케이스를 현행화하는 게 제일 중요한 작업이에요. 디자인 쪽에서도 새로 개발되는 걸 히스토리 쌓고 라이브러리화하고 있는데, 저희 쪽도 필요하거든요. 어떤 서비스가 다르게 바뀌었을 때 뭐가 바뀌었는지 정확하게 파악할 수 있는 문서가 부족한 편이에요. 그런 게 정리가 돼 있으면 새 기술이 나와도 확인 과정이 쉽거든요. 하반기에 제일 집중하는 과제인 것 같아요.

도현님: 품질 모니터링이 목표예요. 현재 삼쩜삼에는 품질 지표가 얼마나 되는지 시각화돼 있지 않아요. 우리가 처음 서비스를 냈을 때의 품질과 CS가 들어오고 품질이 낮아지는 현상에 대해 어떤 기준으로 품질을 끌어올려야 하는지에 대한 기준이 없거든요. CS가 있다는 건 개선이 필요하다는 거예요. 그래서 기준점을 볼 수 있는 모니터링과 앞에서 말씀드렸던 자동화가 제 OKR이었어요. 이 모니터링이 QA 엔지니어 팀뿐만 아니라 각각의 트라이브에 전사적으로 도입할 수 있게 하고 싶어요.

Q. 앞으로 어떻게 성장해 나가고 싶으신지, 어떤 노력을 기울이시는지도 궁금해요.

주연님: 저는 자동화를 배우고 싶은 욕심이 있어요. 도현님이 만들어놓은 게 있으신데, 서비스에 적용해 보는 게 목표고요. 지금 삼쩜삼 테스트 환경이 힘든 부분이 있어요. 개발자분들의 도움이 필요한 일인데, 리소스 부족으로 미뤄지고 있어요. 그래서 스스로 잘 테스트할 수 있는 환경을 만들어보고 싶어요.

윤아님: 위에서 말씀드린 것처럼 세무 지식을 갖춰야 하지 않을까 생각해요. QA 엔지니어분들과 같이 코딩 공부도 하고 싶고요. 자동화로 트렌드가 바뀌고 있으니까 도현님이 서치해서 선발대로 하시면 그거 보고 적용할 수 있는 부분들을 트라이브에서 조금씩 적용해 보려고 해요. (웃음)

도현님: 처음 QA 업무를 진행할 때도 그렇고 지금도 그렇고 전체 경력 다 자동화했던 건 아니지만, 성장하고 싶은 방향을 이쪽으로 잡았어요. 회사마다 자동화가 조금씩 다를 텐데요. 제가 그리는 자동화는 QA 엔지니어분들이 사용하기 쉽고 빠르게 할 수 있는 기본을 구축하는 거예요. 서비스에 맞춰 자동화를 진행하고 결과를 받아볼 수 있는 거죠. 팀 동료들이 성장을 느끼면 저도 뿌듯할 거 같아요.

Q. 자비스앤빌런즈 QA 엔지니어로 합류하게 되면, 어떤 성장을 기대할 수 있을까요?

윤아님: 저희 팀이 테스트 케이스 디자인을 정말 꼼꼼하게 진행하고 있다고 생각합니다. 삼쩜삼 QA 팀으로 오신다면 그냥 기획서의 내용뿐만이 아닌 서로의 다양한 경험과 시각으로 테스트 케이스를 꼼꼼하게 작성할 수 있는 경험을 하실 수 있어요. 테스트 케이스 작성을 다들 귀찮아하고 기피하지만 히스토리를 남기는 차원에서는 매우 중요한 업무라고 생각하거든요. 또한 서비스를 보는 시야를 넓힐 수 있는 작업이라고 생각하기 때문에 좋은 경험이 될거라고 생각해요. 일하는 방식 관점에서는, 자비스앤빌런즈가 개발이 빠르게 진행되는 편이라, 빠르게 소통하면서 빠른 의사결정을 현명하게 할 수 있는 경험을 많이 할 수 있어요.

주연님: 다양한 프로젝트에 참여하기 때문에 다양한 실무 경험을 쌓을 수 있어요. 문제를 들고 오면 모두가 고민해서 최선의 결과를 도출해 내거든요. 그렇게 참여를 하다보면 다른 회사에서는 얻을 수 없는 성취감이 생길 거에요. 그러면서 자연스럽게 문제 해결력에 대한 성장을 할 수 있는 것 같아요. 그리고 내가 검증한 서비스를 2천만 명이 쓰는 플랫폼에 배포할 수 있다는 것도 좋은 경험이에요.

도현님: 단기간에 많은 사용자들이 사용하는 서비스는 드물어요. 11번가의 11절, 무신사의 블랙프라이데이 같이 삼쩜삼에는 종합소득세신고 기간이 있는데요. 5월 한 달간에 2,000만 명이 몰리는 대용량 트래픽을 대비하여 어떤 준비를 하고 어떻게 대응하는지에 대한 경험을 직접적으로 경험할 수 있어요. 이러한 환경에서 QA 엔지니어들은 어떤 업무에 집중하고 어떻게 품질을 보장할 지에 대해 고민하고 해결 방법을 모색하는데요. 이때 한층 성장된 본인을 발견할 수 있게될 거에요.

Q. QA 엔지니어들만의 자랑할 만한 문화가 있을까요?

주연님: 저희는 칭찬을 서로 많이 하는 편이에요. 칭찬 하다 보면 친밀감이 생기고, 또 피드백을 해줄 때에도 분위기가 좋은 쪽으로 가는 거 같아요.

도현님: 앞서 말씀드렸듯이 협업을 위한 공유가 중요하다고 말씀드렸는데요. QA 엔지니어분들은 업무 공유 외에도 일정 공유를 굉장히 잘하고 있어요. 서로가 개인 일정이나 휴가가 있는 경우 슬랙이나 플렉스, 구글 캘린더로 개인 일정을 공유하고, 내부 QA 진행 일정도 공유하고 있죠. 그래서 다른 트라이브나 챕터 분들이 QA 엔지니어분들의 스케줄을 쉽게 확인하고 일정을 수립하실 수 있어요. 아마 QA 엔지니어분들은 공유가 습관이 되어서 문화로 자리잡은 것 같아요.

윤아님: 앞에서 커뮤니케이션이 중요하다고 말씀드렸는데, 서로 잘 알고 있기 때문에 현재 어떤 일을 하고 어떤 도움이 필요한지, 여유가 있으면 누구한테 도움이 될지 잘 돕는 거 같아요. 여행 다녀와서도 서로 조금씩 챙기고요. 스몰토크가 쌓이면서 끈끈해지는 거 같아요. 저희만 이해할 수 있는 애달픈 얘기도 하면서 신뢰와 공감이 쌓이고 있어요.

Q. 어떤 동료와 함께 일하고 싶으신가요?

윤아님: 프로덕트를 주도적으로 결정하고 진행하신 분들을 주의 깊게 찾고 있어요. 또 기본적인 공학 지식이 있어야 하고, 능동적이고 적극적인 분이면 좋겠어요. 경험을 공유했을 때 간접 경험을 통해 새로운 걸 창출할 수 있으니까, 아이디어가 넘치는 분이면 같이 성장하는 데 좋을 거 같아요.

주연님: QA 엔지니어에 국한된 건 아닌데, 도전적인 자세가 중요하다고 봐요. 그런 게 없으면 수동적일 수밖에 없고, 같이 일할 때 좋은 분은 아니라고 생각해요.

도현님: QA 공부를 하고 노력하셨던 분을 좋게 봐요. 소프트웨어 관련이나 테스팅 자격증을 도전해 봤다, 자동화를 진행해 봤다고 하는 분들이 열정이 있다고 생각되고, 그분들과 함께 일하면 저도 열정이 생기잖아요. 열정 있고 능동적인 분이면 좋겠어요.

Q. 예비 빌런즈에게 한마디 부탁드려요!

주연님: 그동안 제가 막내였는데, 새로운 막내가 왔으면 좋겠어요. (웃음)

도현님: 저희 시간은 없는데 할 건 굉장히 많아요. 그만큼 저희한테 빠르게 성장할 수 있는 기회가 주어진 거라고 생각해요. 들어오시면 짧은 시간에 많은 일을 할 수 있는 기회, 성장할 수 있는 기회를 얻을 수 있어요. 들어오셔서 저희랑 같이 크고 빠르게 성장하면 좋을 거 같아요.

윤아님: 합류하시면 제가 아끼는 과자를 나눠드리겠습니다.ㅎㅎ 스몰토크 하려고 외국 과자 많이 사서 갖고 다니는데, 항상 나눠 먹거든요. 같이 과자 나눠 먹었으면 좋겠습니다!!

글 | 박상준
기획 | 임지연
디자인 | 조재원

본 콘텐츠의 저작권은 (주)자비스앤빌런즈에게 있으며, 본 컨텐츠에 대한 무단 전재 및 재배포를 금지합니다