새 모델이 나올 때마다 갈아탈지 고민했다면 — 우리 유저의 결제로 AI 모델을 고르는 A/B 테스트, 앱토(ABTO)

AI 서비스를 직접 만들던 강동혁 씨는 새 모델이 나올 때마다 갈아탈지 고민했어요. 근거로 삼을 수 있는 건 모델사가 발표한 점수뿐이었어요. 직접 확인하려 해도 모델 비용은 AI 호출을 살펴보는 LLM 관측 도구에, 결제와 재방문은 제품 분석 도구에 따로 흩어져 있었어요.

"그 점수는 우리 유저가 실제로 결제했는지까지는 알려 주지 않았습니다."

그래서 만든 게 앱토(ABTO, https://abto.app)예요. 기존에는 점수표를 보고 두 도구를 오가며 짐작해야 했다면, 앱토는 같은 기능을 쓰는 유저를 모델별로 나눠 보내고 비용과 결제·재방문 같은 반응을 한 화면에서 나란히 보여 줘요. 쓰던 OpenAI SDK의 주소와 헤더 몇 줄만 바꾸면 연결돼서, 개발자가 한두 명인 작은 팀도 시작할 수 있다고 해요.

이번 주에 무엇이 달라졌는지 물으면, 이긴 모델을 문장으로 알려 줘요

인사이트 화면에서 '이번 주에는 무엇이 달라졌나요?'라고 물으면, 어떤 모델의 전환율이 더 높았는지 숫자를 직접 읽지 않아도 문장으로 답해 줘요. 이어서 '추가 비용을 들일 만한가요?'라고 물으면 비용이 얼마나 더 드는지까지 같이 알려 줘요. 화면 속 숫자는 모두 데모 프로젝트의 예시 데이터라서 실제 성과가 아니에요.

세 모델의 비용과 전환율을 카드로 나란히 놓고 봐요

비교 화면에는 세 모델의 호출당 비용, 응답 시간, 에러율, 전환율이 카드 하나씩 놓여요. 전환율은 결제처럼 원하는 행동을 한 유저의 비율이에요. 비용과 결제를 따로 보던 값을 한 화면에서 이어 보는 게 앱토가 내세우는 점이고, 여기 숫자도 데모 프로젝트의 예시 데이터예요.

버튼 하나로 트래픽을 옮기고, 저장하면 바로 적용돼요

영상에서는 라우팅 화면에서 6:2:2로 나뉘어 있던 트래픽이 '전환율 최고'의 '적용'을 누르자 한 모델로 100% 모였고, '저장'을 누르자 '저장 안 됨'이 '저장됨.'으로 바뀌었어요. 유저 열 명 중 여섯은 원래 모델로, 둘씩은 다른 두 모델로 가던 흐름이 한 모델로 바뀐 셈이에요. 이 숫자도 데모 데이터예요.

"코드를 다시 배포할 필요가 없고, 문제가 생기면 몇 초 만에 되돌릴 수 있습니다."

메이커에 따르면 지금 20팀 이상이 앱토를 쓰고 있고, 도입한 팀은 평균적으로 AI 비용이 34% 줄었으며 결제·재방문 같은 핵심 지표는 평균 15% 올랐어요. 메이커가 직접 밝힌 평균이고 따로 검증된 값은 아니에요. 지금은 OpenAI Chat Completions 형식의 대화형 호출만 지원하고, 연결할 수 있는 모델사도 다섯 곳이라 직접 띄운 오픈소스 모델은 붙일 수 없어요. 유저 행동으로 판단하는 방식이라 트래픽이 아주 적은 서비스는 결론이 나기까지 시간이 더 걸려요.

NEXTMADE가 직접 열어 보니 공식 사이트의 데모 화면은 가입 없이 열렸고, 샘플 데이터로 만든 가상의 서비스라는 안내가 붙어 있었어요. 공식 사이트의 Free 요금제는 결제 수단 없이 30일 동안 AI 호출을 최대 30,000건까지 쓸 수 있는데, 하루 평균으로 나누면 1,000건이에요. 이미 AI 기능을 운영하면서 더 저렴한 모델로 바꾸고 싶어도 매출이 떨어질까 망설이는 팀이라면, abto.app에서 먼저 열어 볼 수 있어요.