"이런 것도 검수가 되나요?"
가끔 이런 문의를 받습니다.
"외주로 AI 시스템을 하나 만들었는데, 제대로 된 건지 모르겠어요.
그런데 그 분야를 아는 사람이 우리 회사에도, 그쪽에도 마땅치 않아요. 확인이 될까요?"
결론부터 말하면 — 됩니다. 그리고 그 분야의 전문가가 아니어도 됩니다.
의뢰: 우리 전문 도메인이 아닌 AI 산출물
최근 검토한 사례는 농업 데이터를 기반으로 경영분석·코멘트 리포트를 자동 생성하는 AI·챗봇 프로젝트였습니다.
지역 농산물 여러 작목의 재배·소득 데이터를 모아, AI가 필지별 진단 리포트를 만들어주는 구조였죠.
솔직히 말하면 농업도, 이 데이터 파이프라인도 쏘울의 원래 전문 분야는 아닙니다.
보통은 "그 분야를 모르니 검수는 어렵다"고 물러설 지점입니다. 하지만 저는 다르게 접근했습니다.
쏘울의 방법: '도메인 지식'이 아니라 '구조를 읽는 힘'
기술검수의 핵심은 그 작물을 잘 아느냐가 아니라 무엇이 결과물의 신뢰를 무너뜨리는지 아느냐입니다.
그래서 저는 이렇게 했습니다.
- AI로 소스 전체를 빠르게 지도화 — 코드·데이터·문서가 뒤섞인 방대한 폴더를 AI로 훑어 "무엇이 어디에 있는지"부터 구조를 잡습니다.
- 핵심 파일만 골라 실제 내용을 검증 — 설계 문서, 목표 산출물, 근거 자료, 테스트 결과 등 신뢰를 좌우하는 파일만 직접 열어 대조합니다.
- AI 시스템의 보편 기준으로 판단 — 근거(출처)가 붙어 있는가, 검증 체계가 실제로 작동하는가, 개인정보·보안은 안전한가, 발주자가 원한 걸 실제로 구현했는가.
도메인 전문성 대신 이 네 가지 렌즈를 들이대면, 낯선 분야여도 판단이 섭니다.
실제로 찾아낸 것
하루 만에, 농업 전문가 없이, 이런 것들을 짚어냈습니다. (고객 식별 정보는 익명화했습니다.)
- 보안 리스크 — 산출물 전체가 공개 링크로 열려 있었고, 그 안에 API 키와 개인정보(실명·주소·소득)까지 포함돼 있었습니다.
- 검증의 착시 — "전부 검증 완료"라고 표시돼 있었지만, 정작 리포트의 핵심 수치(금액·일부 지표)는 검사 로직의 사각지대라 실제로는 한 번도 검증된 적이 없었습니다.
- 발주 요구와의 격차 — 고객이 가장 원했던 '개별 단위 맞춤 진단'이 실제 시스템에서는 구현돼 있지 않았습니다.
- 데이터 커버리지 공백 — 일부 항목은 결과를 뒷받침할 원본 데이터 자체가 비어 있었습니다.
강점도 분명히 인정했습니다. 모든 기준값에 공식 출처를 붙인 근거 체계, 데이터가 없으면 지어내지 않는 정직성 — 이런 부분은 그대로 살려야 할 자산이라고 짚었습니다. 깎아내리기가 아니라, 살릴 것과 고칠 것을 함께 정리하는 것이 컨설팅이니까요.
왜 이게 가능한가
AI가 방대한 자료를 읽고 정리하는 '속도'를 맡고, 사람은 '무엇이 중요한지'라는 판단 기준과 맥락을 얹습니다.
이 조합이면, 우리가 처음 보는 분야여도 짧은 시간에 전문가 수준의 기술검수와 개선안을 낼 수 있습니다.
전문 인력을 새로 뽑거나, 그 분야 컨설턴트를 오래 붙일 필요 없이 말이죠.
그래서, 이런 상황이라면
- 외주로 만든 AI 결과물이 제대로 됐는지 객관적 검증이 필요할 때
- 우리 회사엔 그 분야 전문가가 없는데 도입 전에 리스크를 먼저 짚고 싶을 때
- 잘된 점과 고칠 점을 정리된 보고서 한 장으로 받아보고 싶을 때
쏘울이 AI를 활용한 기술검수와 컨설팅으로 함께하겠습니다.
이 글은 실제 검토 사례를 바탕으로 작성했으며, 고객·프로젝트 식별 정보는 모두 익명 처리했습니다.