AI 에이전트에게 절대 맡기면 안 되는 일은 따로 있습니다

AI 에이전트에게 맡기면 사고가 날 수 있는 일은 기준으로 구분할 수 있습니다. 사고가 시작되는 곳, 사람 승인이 필요한 일, 도입 뒤 확인할 곳을 설명합니다.

AI 에이전트에게 일을 맡기고 퇴근하는 저녁이 있습니다. 맡긴 일 가운데 되돌릴 수 없는 일이 섞여 있지는 않은지 마음에 걸리신 적이 있으신가요? AI 에이전트는 정해 둔 일을 사람 대신 수행하는 프로그램입니다.

AI 에이전트에게 맡길 일은 실행한 뒤 되돌릴 수 있는지와 돈, 자료, 권한에 닿는지로 구분할 수 있습니다. 영향이 큰 일에는 실행하기 전에 사람이 승인하는 단계를 둡니다.

AI 에이전트 사고는 어디서 시작됩니까?

보안 비영리 프로젝트 OWASP는 AI 에이전트 사고의 뿌리에 세 가지 가운데 하나 이상이 있다고 정리합니다. 기능이 너무 많은 것과 권한이 너무 넓은 것, 자율권이 너무 큰 것입니다. 각각의 뜻은 이렇습니다.

1. 기능이 너무 많다는 것은 AI 에이전트가 쓸 수 있는 기능이 맡긴 일보다 많다는 뜻입니다.

2. 권한이 너무 넓다는 것은 AI 에이전트에 열어 준 문서와 계정의 범위가 맡긴 일보다 넓다는 뜻입니다.

3. 자율권이 너무 크다는 것은 사람이 확인하지 않아도 AI 에이전트가 스스로 실행하는 일이 많다는 뜻입니다.

OWASP가 자율권이 지나친 대표 사례로 드는 것은 문서 삭제 기능입니다. 사용자에게 확인하지 않고 삭제를 그대로 실행하는 기능입니다. 지우는 기능이 있다는 사실보다 확인 없이 실행한다는 점이 문제로 꼽힙니다.

학원에서 수강생 상담 기록을 정리하는 일을 AI 에이전트에게 맡겼다고 가정합니다. 정리 기능에 삭제 기능까지 열려 있고 삭제 전에 확인하는 사람이 없다면 기록이 지워질 수 있습니다. 지워진 기록을 되살릴 방법이 있는지는 그때가 되어서야 알게 됩니다.

사고의 뿌리는 AI 에이전트에게 맡긴 일보다 기능과 권한과 자율권을 넓게 열어 준 데 있습니다. 맡길 일이 정해지면 열어 줄 범위도 그 일에 맞춰 정할 수 있습니다. 범위를 정하는 사람은 고객이며 AI 에이전트는 정해진 범위 안에서 일을 수행합니다.

사람 승인 없이 맡기면 안 되는 일은 어떤 일입니까?

네 종류의 일입니다. 되돌릴 수 없는 결과를 내는 일, 돈이 오가는 일, 규제 대상 자료를 만지는 일, 권한을 바꾸는 일입니다. 종류마다 예를 들면 이렇습니다.

1. 되돌릴 수 없는 결과를 내는 일: 문서 삭제처럼 실행한 뒤에는 원래대로 돌릴 수 없는 일입니다.

2. 돈이 오가는 일: 결제와 환불, 입금 처리처럼 금액이 움직이는 일입니다.

3. 규제 대상 자료를 만지는 일: 병원 진료 기록처럼 법과 규정이 다루는 방법을 정해 둔 자료를 열거나 수정하는 일입니다.

4. 권한을 바꾸는 일: 직원이나 회원이 볼 수 있는 자료의 범위를 바꾸는 일입니다.

영향이 큰 행동은 실행되기 전에 사람이 승인하도록 통제를 두라고 OWASP는 권고합니다. 되돌릴 수 없는 일과 돈이 오가는 일, 규제 대상 자료를 만지는 일, 권한을 바꾸는 일은 사람 승인을 거치게 두는 것이 기준입니다. 승인 단계가 없으면 학원 상담 기록 삭제처럼 확인 없이 실행되는 일이 생깁니다.

반대로 읽기만 하는 일과 쉽게 되돌릴 수 있는 일은 승인 없이 자동으로 돌려도 됩니다. 접수된 문의를 읽어 종류별로 나누는 일이나 매출 숫자를 읽어 보고서로 만드는 일이 그 예입니다. 잘못 만든 보고서는 지우고 다시 만들면 되기 때문입니다.

우리 회사의 업무는 어느 쪽에 속합니까?

업무 목록을 펴 놓고 네 종류에 하나라도 속하는 일에 표시하면 승인 대상이 나옵니다. 학원은 수강료 환불 처리가 돈이 오가는 일에 속하고 병원은 진료 기록 열람이 규제 대상 자료를 만지는 일에 속합니다. 시공 회사는 직원별 접근 범위 변경이 권한을 바꾸는 일에 속합니다.

쇼핑몰이 주문 내역을 바꾸지 않고 읽기만 해서 매출을 정리하는 일은 어느 종류에도 속하지 않습니다. 표시한 일과 표시하지 않은 일이 섞여 있어도 AI 에이전트를 도입할 수 있습니다. 표시하지 않은 일은 자동으로 수행하게 두고 표시한 일은 승인 단계를 거치게 두면 됩니다.

이런 대표님께 구분이 필요합니다.

1. AI 에이전트를 도입하려는데 어디까지 맡겨도 되는지 판단이 서지 않는 분

2. 이미 쓰고 있는 AI 에이전트에 사람 확인 없이 맡겨 둔 일이 무엇인지 파악하지 못한 분

3. 직원이 반복하는 일을 넘기고 싶지만 돈이나 고객 자료에 닿는 일이 섞여 있는 분

맡길 일이 읽기와 보고서 작성뿐이라면 승인 단계를 둘 이유가 적습니다. 그럴 때도 열어 줄 자료의 범위는 맡길 일에 맞춰 정해 두시면 됩니다.

도입하려면 대표님은 무엇을 정하면 됩니까?

처음에 기준을 한 번 정해 두면 그 기준대로 AI 에이전트가 움직입니다. 정하실 것은 세 가지입니다.

1. 맡길 일 하나를 정합니다. 읽기만 하는 일처럼 쉽게 되돌릴 수 있는 일이 시작하기에 알맞습니다.

2. 그 일에 열어 줄 자료와 계정의 범위를 정합니다. 맡긴 일에 필요한 만큼만 여는 것이 기준입니다.

3. 사람 승인을 거칠 일과 승인할 직원을 정합니다.

맡길 일과 열어 줄 자료와 승인을 거칠 일은 도입하기 전에 고객이 정합니다. 정한 내용을 문서로 남겨 두면 담당자가 바뀌어도 같은 기준을 이어 쓸 수 있습니다.

읽기만 하는 일은 처음부터 자동으로 수행하게 두고 네 종류에 속하는 일은 승인을 거치게 두는 방식으로 시작할 수 있습니다. 맡기는 일이 한 가지라면 확인할 범위도 좁아집니다.

도입한 뒤에는 무엇을 어디서 확인합니까?

AI 에이전트가 수행한 일의 기록과 승인 기록에서 세 가지를 확인합니다. 기록이 남는 방식으로 도입해 두면 대표님이 직접 보실 수 있습니다.

1. 승인 대상으로 정한 일이 실제로 승인을 거쳤는지 승인 기록에서 봅니다.

2. 열어 준 자료와 계정의 범위가 맡긴 일에 필요한 만큼인지 AI 에이전트가 접근한 자료의 기록에서 봅니다.

3. 승인 없이 자동으로 도는 일이 읽기와 쉽게 되돌릴 수 있는 일뿐인지 수행 기록에서 봅니다.

기능을 추가하거나 새 일을 맡길 때는 열어 준 범위가 바뀔 수 있습니다. 그때는 새 일이 네 종류에 속하는지 다시 확인하고 속한다면 승인 대상 목록에 올립니다. 도입한 뒤에도 승인 기록과 열어 준 범위를 확인하는 일은 이어집니다.

비용은 무엇에 따라 달라집니까?

정해진 가격표는 없고 다음 다섯 가지에 따라 범위가 달라지므로 상담 뒤 견적으로 안내합니다.

1. 맡길 반복 업무가 몇 가지인지

2. 쓰시는 프로그램이 몇 종류이고 서로 연결해야 하는지

3. 사람 승인을 거칠 일이 업무에 얼마나 섞여 있는지

4. 담당 직원이 결과를 확인하는 관리자 화면과 입력 폼이 필요한지

5. 실제 데이터로 확인할 자료가 정리되어 있는지

다섯 가지를 알려 주시면 개발 범위를 잡을 수 있습니다.

문의하면 어떤 순서로 진행됩니까?

문의에서 계정 인계까지 다섯 단계로 진행합니다.

1. 문의를 남기시면 맡기고 싶은 반복 업무를 중심으로 상담합니다.

2. 상담 내용에 맞춰 범위와 견적을 안내합니다. 견적을 보시고 진행할지는 고객이 정하시면 됩니다.

3. 진행하시기로 하면 대상 업무와 처리 규칙을 확정하고 프로그램을 연결해 자동화를 제작합니다.

4. 실제 데이터로 동작을 확인합니다.

5. 프로젝트를 마치면 동작하는 자동화 시스템과 계정을 고객에게 넘겨드립니다.

그래서 AI 에이전트 도입 전에 맡길 일부터 구분해야 합니까?

맡길 일 가운데 돈이나 규제 대상 자료에 닿는 일이 섞여 있다면 도입 전에 구분해 둘 만합니다. 승인할 직원이 정해지지 않은 일은 실행 전 승인 단계가 비어 있는 상태입니다. 그런 일이 있다면 승인할 직원을 정하는 일을 먼저 하실 수 있습니다. 맡길 일이 읽기와 보고서 작성뿐이라면 구분에 드는 시간은 짧게 끝납니다.