AI Agent를 업무에 붙일 때, 사람 승인 루프를 어디에 둘까
업무자동화와 AI Agent 도입에서 자동 실행보다 먼저 정해야 할 사람 승인 지점, 로그, 예외 처리 기준을 실무 체크리스트로 정리했습니다.
AI Agent를 붙이면 “사람이 하던 일을 AI가 대신한다”는 기대가 먼저 생깁니다. 하지만 실제 운영에서는 자동 실행 버튼보다 먼저 정해야 할 것이 있습니다.
바로 사람이 어디에서 확인하고, 어디까지는 AI가 혼자 처리해도 되는지에 대한 승인 루프입니다.
좋은 AI 자동화는 사람을 빼는 설계가 아니라, 사람이 꼭 봐야 하는 순간을 더 선명하게 만드는 설계입니다.
핵심 요약
- AI Agent는 초안 작성, 분류, 조회, 정리처럼 되돌리기 쉬운 일부터 맡기는 것이 안전합니다.
- 외부 발송, 결제, 권한 변경, 고객 응대, 데이터 삭제처럼 영향이 큰 작업에는 사람 승인 루프가 필요합니다.
- 승인 루프는 “사람이 마지막에 한 번 보는 절차”가 아니라 로그, 권한, 예외 처리, 롤백까지 포함한 운영 구조입니다.
- 파일럿 단계에서는 자동화율보다 사고 없이 반복되는 업무 범위를 좁게 정의하는 편이 성공 확률이 높습니다.
왜 사람 승인 루프가 먼저인가
많은 팀이 AI Agent 도입을 이야기할 때 모델 성능, 프롬프트, 연동 툴부터 논의합니다. 물론 중요하지만 운영 현장에서는 “틀렸을 때 누가 알아차릴 수 있는가”가 더 먼저입니다.
예를 들어 AI가 견적 초안을 만들거나 고객 문의를 분류하는 것은 비교적 위험이 낮습니다. 사람이 다시 읽고 고칠 수 있고, 잘못돼도 바로 고객에게 나가지 않습니다.
반대로 AI가 고객에게 답장을 발송하거나, 광고 예산을 바꾸거나, 내부 문서 접근 권한을 수정한다면 이야기가 달라집니다. 이때는 AI의 판단이 조직 밖으로 바로 영향을 줍니다.
파일럿의 목표는 “AI가 전부 한다”가 아니라 “사람이 확인해야 할 지점과 AI가 반복 처리할 지점을 구분한다”에 가깝습니다.
승인 루프가 필요한 6가지 업무 지점
1. 고객에게 메시지가 나가는 순간
메일, 카카오 알림, 채팅 답변, 제안서 발송처럼 외부 이해관계자에게 직접 노출되는 작업은 초기에 사람 승인이 필요합니다.
특히 AI가 고객 맥락을 요약하고 답변 초안을 만들더라도, 최종 발송 버튼은 담당자가 누르게 두는 방식이 안정적입니다.
2. 돈이나 계약 조건이 바뀌는 순간
견적 금액, 할인율, 결제 상태, 환불, 계약 문구는 자동화 효과가 크지만 리스크도 큽니다. AI가 추천안을 만들 수는 있어도 변경 이력과 승인자를 반드시 남겨야 합니다.
3. 권한과 개인정보가 움직이는 순간
RAG, 사내 AI 비서, CRM 자동화에서는 데이터 접근 권한이 핵심입니다. AI가 답을 잘하는 것보다 “보면 안 되는 자료를 보지 않는가”가 더 중요합니다.
부서별 문서, 고객 정보, 계약서, 인사 자료는 자동 조회 전에 권한 매핑과 로그 설계가 필요합니다.
4. 삭제·수정·덮어쓰기처럼 되돌리기 어려운 순간
업무자동화에서 가장 위험한 작업은 조용히 실행되는 삭제입니다. AI Agent가 중복 데이터를 정리하거나 상태값을 바꾸는 경우에도 휴지통, 버전 기록, 롤백 절차를 먼저 확인해야 합니다.
5. AI가 확신하지 못하는 예외 케이스
모든 요청을 자동 처리하려고 하면 예외가 숨어듭니다. 대신 “확신도 낮음”, “규칙 충돌”, “필수 정보 부족” 같은 상태를 만들고 사람에게 넘기는 경로를 정해두는 편이 좋습니다.
6. 신규 업무 규칙이 처음 적용되는 순간
새 정책, 새 가격표, 새 캠페인, 새 고객군이 등장하면 기존 자동화 규칙이 틀어질 수 있습니다. 변경 첫 주에는 자동 실행보다 검토 모드로 운영하는 것이 안전합니다.
실무 설계 순서
- 1단계: 자동화할 업무를 “조회·정리·초안·실행”으로 나눕니다.
- 2단계: 각 단계의 실패 비용을 낮음/중간/높음으로 표시합니다.
- 3단계: 실패 비용이 높은 단계에는 승인자, 승인 기준, 처리 SLA를 붙입니다.
- 4단계: AI가 사용한 데이터, 판단 근거, 실행 결과를 로그로 남깁니다.
- 5단계: 승인 없이 실행 가능한 범위를 작게 시작하고, 반복 안정성이 확인될 때만 넓힙니다.
이 순서를 거치면 “어디까지 자동화할 수 있나”보다 “어디부터 안전하게 자동화할 수 있나”가 보입니다.
도입 전 체크리스트
운영 지표는 무엇을 보면 좋을까
초기에는 “몇 퍼센트 자동화했는가”보다 다음 지표가 더 유용합니다.
- AI 초안이 사람 수정 없이 통과한 비율
- 사람 승인으로 차단된 위험 케이스 수
- 예외로 분류된 요청의 반복 패턴
- 업무 처리 시간 단축보다 재작업 감소 폭
- 승인자가 실제로 부담을 느끼는 병목 지점
이 지표를 2~4주만 모아도 자동 실행으로 넘겨도 되는 업무와 계속 사람이 봐야 하는 업무가 분리됩니다.
FAQ
Q. 승인 단계가 많으면 자동화 효과가 떨어지지 않나요?
처음에는 조금 느려질 수 있습니다. 하지만 승인 기준이 쌓이면 반복적으로 통과되는 유형을 자동 실행으로 전환할 수 있습니다. 승인 루프는 자동화를 막는 장치가 아니라 자동화 범위를 안전하게 넓히는 장치입니다.
Q. 모든 외부 메시지를 사람이 확인해야 하나요?
아닙니다. 배송 안내, 접수 확인, 단순 상태 알림처럼 문구와 조건이 고정된 메시지는 자동 발송이 가능합니다. 다만 클레임, 견적, 계약, 법적 표현, 개인정보가 포함된 답변은 검토 모드부터 시작하는 편이 안전합니다.
Q. 작은 회사도 로그와 권한 설계가 필요할까요?
오히려 작은 조직일수록 담당자 머릿속에 규칙이 남아 있는 경우가 많습니다. AI Agent를 붙이려면 그 암묵지를 실행 규칙과 예외 규칙으로 바꾸는 과정이 필요합니다.
Q. HeyRatty는 이런 승인 루프까지 설계하나요?
네. HeyRatty는 단순 자동화 스크립트보다 업무 흐름, 데이터 접근 범위, 사람 승인 지점, 운영 로그를 함께 정리해 파일럿 범위를 잡는 방식으로 AX 자동화를 설계합니다.
참고 및 이미지 출처
- NIST AI Risk Management Framework: https://www.nist.gov/itl/ai-risk-management-framework
- OWASP Top 10 for Large Language Model Applications: https://owasp.org/www-project-top-10-for-large-language-model-applications/
- 이미지: Nacho Kamenov and Humans in the Loop, “Data annotators discussing the correct labeling of a dataset”, Wikimedia Commons, CC BY 4.0