AX 인재전쟁 본선 — Trusted CEO Agent
지원 5,300명 중 본선 60명. 3시간 안에 만든 '믿고 결재할 수 있는' CEO 의사결정 에이전트
스펙이 아니라 AI를 도구로 실제 비즈니스 문제를 정의·해결하는 능력을 심사하는 대회였습니다(프롬프트 로그 전량 제출). 예선은 검증 가능한 AI 산출물 플러그인, 본선은 가상 지주사 CEO를 위한 의사결정 에이전트를 3시간 안에 설계·구현하고 채용 결정권자 앞에서 1:1 시연했습니다.
Long story short
4개사 60여 개 파일의 데이터룸을 전수 분석해 이슈 10건을 뽑고, 개별 심각도가 아니라 유형으로 묶었습니다. 가장 빈번한 패턴은 '부서가 보고하는 지표와 결정에 필요한 지표가 다르다'였습니다. 마케팅이 ROAS 1.27로 보고한 인플루언서 계약은 공헌이익 기준 −0.20이었고, 아무도 그 계산을 하지 않은 채 닷새 뒤 연 28억이 자동 갱신될 상황이었습니다. 전환율은 최고였지만 반품률 13.1%·쿠폰중복 36%·재구매율 8.5%를 보면 문제는 인플루언서가 아니라 계약·프로모션 구조였기에, 해지 대신 조건부 재협상을 권고했습니다.
에이전트는 LLM을 입구(자연어 해석)와 출구(서술)에만 두고 계산은 전부 결정적 코드로 분리했습니다. 재실행하면 같은 값이 나오니 수치 창작이 구조적으로 막힙니다. 모든 수치에 검증·원본·추론·미확인의 신뢰등급을 자동 부여해 등급이 곧 '누가 검토해야 하는가'의 라우팅이 되게 했고, 근거 그래프에는 채택한 가설뿐 아니라 데이터가 기각한 가설까지 남겼습니다.
본선에서 탈락했습니다. "데이터를 어떻게 분류했고 그래프 노드에 무엇이 들어가는가"라는 질문에 답하지 못했기 때문입니다. 답은 제출한 설계 문서 안에 있었지만, 구현을 AI에 위임한 뒤 제 것으로 소화하지 않았습니다. 심사평은 "비즈니스는 훌륭하나 기술이 부족하다". 이후 격주로 기업 하나를 분석해 프로토타입까지 만드는 훈련 체계를 운영 중이고, AI 산출물을 노트 없이 30초 안에 설명하지 못하면 다음 단계로 넘어가지 않는 '회수' 절차를 넣었습니다.
한 일
도구
예선 — 검증 가능한 AI 산출물
회계·자문 업무에서 AI 산출물의 신뢰 검증 비용이 오히려 늘어나는 문제를 정의했습니다.
- AI의 모든 주장을 조서(workpaper)로 남기고, 인용·수치 자동 검증 게이트를 통과해야 산출물이 확정
- 허위 인용 · 데이터 변조 · 원천 누락 · API 장애 등 실패 시나리오 6종 테스트 픽스처
- "실패해야 할 때 실패하는지"를 검증하는 Codex 플러그인
본선 — 3시간, 1인, 오프라인 시연
외부 의존성 0으로 시연 안정성을 확보했습니다.
- Python 분석 엔진 — 주최 제공 산식만 사용, 결정적 재현 보장
- 로컬 API 서버 + 단일 HTML 프런트 (Cytoscape 근거 그래프)
- 기한 감시 · 부작위 방지 — 무대응 시 조건변경 통보 상신 자동 대기
- 자연어 입력 → LLM 해석(사람 확인) → 결정적 재계산 → 이전 판단과 diff
AX에 대해 깨달은 것
주최사의 AI 제품 9종을 문제 정의 → 기획 → 구현의 역순으로 되짚으며 얻은 결론.
- 기업은 "AI가 다 해준다"를 팔지 않는다 — 팔리는 것은 사람이 이해하며 통제하는 자동화
- 경영진용 AI가 CFO부터 시작된 이유는 신뢰 — AI 도입의 병목은 성능이 아니라 검증 가능성
- AX의 승부처는 모델이 아니라 문제 정의 → 기획 → 구현의 정합성. 의사결정 구조를 다시 설계하는 프로젝트
소셜에서 만나요
이호성 — AI Product Builder