AI 에이전트에게 회사 데이터를 다 보여줘도 될까요?

AI 에이전트에게 회사 데이터를 어디까지 열어 줘도 되는지 판단 기준을 설명합니다. 읽게 할 자료의 범위, 사람이 승인할 행동, 도입 뒤 확인할 항목을 다룹니다.

저녁 업무를 마치고 나서야 낮에 직원이 보낸 메시지를 열어 보게 됩니다. AI 에이전트에 손님 명단과 계약서 폴더를 연결해도 되는지 묻는 내용입니다. 일이 빨라진다는 설명은 이해되지만 회사 자료가 어디까지 읽히는지 알 수 없어 답을 내일로 미룹니다.

AI 에이전트는 고객이 정해 준 일을 사람 대신 수행하는 AI 프로그램입니다. 회사 데이터를 어디까지 열어 줄지 정하려면 두 범위를 따로 정해야 합니다. 하나는 고객이 AI 에이전트에 읽게 할 자료의 범위이고 다른 하나는 고객이 AI 에이전트에 맡길 행동의 범위입니다. 두 범위는 좁게 시작해서 필요가 확인될 때 넓혀 가면 판단하기 쉽습니다.

AI 에이전트가 회사 자료를 읽으면 어떤 문제가 생길 수 있습니까?

공격자가 AI 에이전트가 읽어 들일 수 있는 자료 속에 나쁜 지시를 심어 두는 공격이 있습니다. 미국 국립표준기술연구소(NIST)는 이 공격을 에이전트 하이재킹이라고 부릅니다. 이 공격이 성공하면 AI 에이전트가 고객의 의도와 다른 해로운 행동을 하게 됩니다. AI 에이전트가 읽는 자료가 공격의 통로가 된다는 뜻입니다.

예를 들어 거래처가 보낸 문서나 외부에서 내려받은 파일까지 읽도록 연결할 수 있습니다. 그러면 회사 밖에서 만든 글이 읽는 자료에 섞여 들어옵니다. 그 글에 나쁜 지시가 들어 있는지는 사람이 눈으로 읽어서 알아보기 어려울 수 있습니다. 읽게 할 자료를 정할 때는 회사가 직접 만든 자료와 외부에서 들어온 자료를 나누어 보는 편이 판단하기 쉽습니다.

OWASP(오와스프) 젠AI 보안 프로젝트는 비영리 보안 커뮤니티입니다. OWASP는 AI가 과도한 권한으로 해로운 행동을 하는 문제를 과도한 에이전시라고 부릅니다. 근본 원인으로는 기능이 너무 많은 상태와 권한이 너무 넓은 상태와 자율성이 너무 큰 상태를 꼽습니다. OWASP는 이 세 상태 가운데 한 가지 이상이 원인이라고 봅니다.

기능은 AI 에이전트가 할 수 있는 일의 종류이고 권한은 읽고 수정할 수 있는 자료의 범위입니다. 자율성은 사람이 확인하지 않아도 AI 에이전트가 스스로 진행하는 정도를 말합니다. 회사 데이터를 열어 주는 일은 AI 에이전트의 기능과 권한과 자율성을 얼마나 크게 줄지 정하는 일입니다.

우리 회사는 AI 에이전트를 도입해도 되는 상태입니까?

아래 세 가지에 답할 수 있다면 도입을 검토할 만한 상태입니다.

1. 맡길 일이 무엇인지 한 문장으로 말할 수 있습니다.

2. 맡길 일에 쓰는 자료가 어디에 보관되어 있는지 말할 수 있습니다.

3. 열지 않을 자료가 무엇인지 말할 수 있습니다.

학원이라면 학부모 연락처와 상담 기록이, 병원이라면 진료 기록이 열지 않을 자료의 후보입니다. 제조업이라면 도면과 단가표가, 시공업이라면 계약서와 견적 내역이 후보에 들어갑니다. 어떤 자료를 열지 않을지는 업종마다 다르고 같은 업종이어도 회사에 따라 달라질 수 있습니다.

반대로 회사 폴더 전체를 연결하고 싶다는 생각만 있고 맡길 일이 없다면 먼저 일의 범위를 정해야 합니다. 일의 범위가 없으면 열어 줄 자료도 정할 수 없어 연결 범위가 필요 이상으로 넓어지기 쉽습니다.

직원 한 명이 볼 수 있는 자료의 범위를 기준으로 삼으면 판단이 쉬워집니다. 신입 직원에게 보여 주지 않을 자료라면 AI 에이전트에게도 열지 않는 쪽으로 시작할 수 있습니다. 업무에 필요하다는 이유가 확인된 자료만 나중에 추가하면 됩니다.

도입할 때 고객은 무엇을 정하면 됩니까?

AI 에이전트는 연결하는 순간부터 임의로 움직이지 않고 고객이 처음에 정한 기준 안에서 일을 이어 갑니다. 그래서 고객이 하는 일은 기준을 한 번 정하는 것이며 기준은 아래 세 가지입니다.

1. 맡길 일 하나와 그 일에 필요한 자료의 범위를 정합니다.

2. 자료마다 읽기만 허용할지 수정까지 허용할지 정합니다.

3. 영향이 큰 행동을 정하고 그 행동은 실행 전에 사람이 승인하도록 정합니다.

OWASP는 AI 도구가 다른 시스템에서 받는 권한을 필요한 최소한으로 제한하라고 권고합니다. 권고의 예로 데이터베이스(회사 정보를 모아 둔 저장 공간)에 읽기 전용 접근만 주는 방식을 듭니다. 읽기만 허용한 자료는 AI 에이전트가 내용을 볼 수 있어도 바꿀 수 없습니다. 그래서 처음 연결은 읽기 전용으로 시작하는 쪽이 판단하기 쉽습니다.

OWASP는 영향이 큰 행동을 실행하기 전에 사람이 승인하는 사람 개입 통제도 권고합니다. 손님에게 메일을 보내는 일이나 자료를 삭제하는 일, 금액이 오가는 일이 영향이 큰 행동의 예입니다. 담당자가 내용을 보고 승인한 뒤에만 실행되도록 정해 두면 자율성이 큰 상태를 피할 수 있습니다.

자료를 읽기만 하는 일은 승인 없이 진행하고 밖으로 나가거나 자료를 바꾸는 행동만 승인을 거치게 할 수도 있습니다. 그러면 담당 직원이 행동마다 확인하는 부담이 줄어듭니다. 어느 행동까지 승인 대상으로 둘지는 회사의 사정에 맞춰 고객이 정하시면 됩니다.

처음 정한 기준은 AI 에이전트를 쓰면서 바꿀 수 있습니다. 읽기 전용으로 일정 기간 써 본 뒤 수정이 필요한 일만 추가로 허용하는 순서도 가능합니다.

도입한 뒤에는 무엇을 어디서 확인합니까?

도입한 뒤에는 AI 에이전트가 쓰는 계정에 연결된 자료 목록과 사람이 승인한 행동 내역을 정해진 날에 확인합니다. 확인은 담당 직원이 하고 대표는 결과만 보시는 방식으로 시작할 수 있습니다.

도입할 때 자료 목록을 계정 관리 화면에서 볼 수 있게 해 두면 처음 정한 범위와 같은지 비교할 수 있습니다. 처음에 없던 폴더가 목록에 늘어나 있다면 누가 왜 추가했는지 담당 직원에게 물어보시면 됩니다. 편의를 위해 연결이 하나둘 추가되는 일이 있으므로 정해진 날에 보는 방식이 필요합니다.

승인 내역에서는 어떤 행동을 누가 승인했는지와 승인 없이 진행된 행동이 없는지를 봅니다. 영향이 큰 행동으로 정한 종류가 승인 없이 실행되었다면 설정이 처음 기준과 다르다는 뜻입니다. 자료 목록과 승인 내역을 정해진 날에 보는 것만으로도 열어 준 범위가 처음 기준에서 벗어났는지 알 수 있습니다.

맡긴 일을 하나 더 추가할 때는 그 일에 필요한 자료와 승인 지점을 처음과 같은 순서로 다시 정합니다. 기존 일에 쓰던 권한을 그대로 겹쳐 쓰면 새 일에 필요하지 않은 자료까지 열려 있을 수 있기 때문입니다.

AI 에이전트의 동작이 이상해 보일 때 연결을 중단할 담당자가 누구인지도 미리 정해 둡니다. 담당 직원이 중단 방법을 알고 있으면 확인 결과에 따라 바로 조치할 수 있습니다.

비용은 무엇에 따라 달라집니까?

정해진 가격표는 없고 아래 다섯 가지에 따라 범위가 달라지므로 금액은 상담 뒤 견적으로 안내합니다.

1. 맡길 일이 몇 가지인지

2. 연결할 자료가 어디에 있는지: 한곳에 정리되어 있는지 여러 곳에 흩어져 있는지

3. 수정까지 허용할 일이 있는지: 읽기만 하는 일로 충분한지

4. 사람이 승인하는 지점이 몇 곳인지, 승인용 화면이 필요한지

5. 지금 쓰시는 프로그램이 몇 종류이고 서로 연결해야 하는지

다섯 가지를 알려 주시면 범위를 잡을 수 있습니다. 아직 정해지지 않은 항목은 상담에서 함께 확인합니다.

문의하면 어떤 순서로 진행됩니까?

문의하신 뒤의 순서는 이렇습니다.

1. 문의를 남기시면 위의 다섯 가지를 중심으로 상담합니다.

2. 상담 내용에 맞춰 범위와 견적을 안내합니다. 견적을 보시고 진행할지는 고객이 정하시면 됩니다.

3. 진행하시기로 하면 정하신 자료 범위와 승인 지점에 맞춰 AI 에이전트를 만듭니다.

4. 프로젝트를 마치면 동작하는 시스템과 계정을 고객에게 넘겨드립니다.

그래서 AI 에이전트에게 회사 데이터를 열어 줘도 됩니까?

맡길 일 하나와 그 일에 필요한 자료의 범위, 사람이 승인할 행동을 말할 수 있다면 열어 줄 준비가 된 것입니다. 이 가운데 답이 정해지지 않은 항목이 있다면 연결을 서두를 이유는 없습니다.

한 가지가 더 있습니다. 손님에게 받은 개인정보 이용 동의서와 거래처와 맺은 계약서를 확인해 보시면 됩니다. 동의서와 계약서에 자료를 외부 서비스에 입력하는 것을 제한하는 문구가 있으면 그 자료는 열 수 없습니다.