토스의 속도와 품질, 상용 도구로 충분한가 — 토션(Tossion)

안녕하세요. 토스 QA Platform 팀 리더 이정성입니다.지난 글에서 저희가 누구이고 무엇을 만들어 왔는지 짧게 소개해 드렸는데요. 오늘은 그 첫 번째 이야기, 저희만의 플랫폼 토션(Tossion)을 소개합니다."이 기능, 지난번에 테스트 결과 어땠었죠?"QA라면 릴리즈 직전에 이 질문을 한 번쯤 받아 보셨을 겁니다. 저희도 받았고, 답을 드리는 데 시간이 걸리곤 했습니다. 자동화 테스트(Automation Test) 결과, 매뉴얼 테스트(Manual Test) 결과와 테스트 케이스(Test Case) 그리고 각 테스트의 판단 근거가 저마다 다른 곳에 흩어져 있었기 때문입니다.아쉬움은 또 있었습니다. 쓰고 있던 상용 TCM(Test Case Management System)은 기능을 추가하거나 더 나은 방식으로 개선하고 싶어도, 쌓여 있는 QA 데이터를 활용하고 싶어도 저희가 직접 손댈 수 없는 도구였습니다. 개발을 요청하면 오래 걸리거나 아예 반영되지 않는 경우가 많았고, 기다리다 포기하곤 했습니다.그래서 이 문제들을 해결하기 위해 토션(Tossion)을 만들었습니다.지난 테스트 결과는 그대로 남고, 필요한 건 바로 올립니다가장 먼저 만든 건 아주 평범한 것이었습니다.자동화 테스트 결과, 매뉴얼 테스트 결과와 테스트 케이스, 그리고 그렇게 판정한 근거. 흩어져 있던 이 세 가지를 한 행에 모으는 일이었습니다. 셋이 각각 다른 곳에 있으면 "지난번엔 어땠나요"라는 질문이 나올 때마다 세 군데를 확인해야 했습니다.토션의 구조는 프로젝트(Project) → 스위트(Suite) → 섹션(Section) → 테스트 케이스(Test Case)입니다. 섹션이 트리로 이어지고 테스트 케이스가 그 끝에 놓입니다. 여기까지는 상용 TCM과 다르지 않습니다.테스트 케이스는 제품을 따라 계속 바뀝니다. 기능이 바뀌면 고치고, 없어진 화면의 것은 지웁니다. 반면 테스트 런(Test Run)은 그 옆에 따로 쌓입니다. 테스트 케이스가 어떻게 바뀌든 지난달에 무엇으로 검증했는지는 남아야 하니까요.그래서 테스트 런을 만들 때 테스트 케이스를 참조만 하지 않습니다. Assignee와 Test Step, Description까지 그 시점의 값을 복사해 테스트 런 안에 한 행으로 새로 만듭니다. 그 행은 상태가 바뀔 때마다 History에 한 줄씩 쌓입니다. 누가 언제 어느 Version에서 그렇게 판단했는지가 테스트 케이스 옆이 아니라 ...