AI 보안 검증

AI 도입·운영에 따른 정보 유출과 권한 오용 가능성을 점검하고,
개인정보 처리와 사내 보안 요구에 맞는 개선안을 제시합니다.

진단 대상

OWASP AITG를 기준으로 모델·RAG·에이전트의 연결 구조와 권한을 점검합니다.

직접·간접 프롬프트 인젝션: 사용자 입력뿐 아니라 AI가 읽는 외부 문서와 콘텐츠가 지시로 해석되는 경로를 확인합니다.
정보 노출과 권한 분리: 허용되지 않은 문서·내부 정보·시스템 프롬프트가 노출되는지 테스트 데이터로 점검합니다.
도구 호출과 반복 검증: 도구 실행이 사용자의 권한과 허용 범위를 넘는지 확인합니다. 같은 시나리오를 반복해 응답 차이와 성공·실패 조건을 기록합니다.

간접 프롬프트 인젝션 검증 시나리오

사내 문서 검색과 업무 API 호출 기능을 갖춘 AI를 가정한 예시입니다. 외부 입력부터 실행 결과까지 단계별로 검증합니다.

보고서 기록 항목

입력·문서 식별자 / 모델·설정 / 응답·도구 호출 / 반복 횟수 / 판정 근거 / 개선안

사전 준비사항: AI의 용도, 모델·RAG·도구 연결 구조, 사용자 역할과 테스트 계정을 확인합니다. 실제 고객 정보 대신 테스트 데이터를 준비합니다.
범위·일정·견적: 대상 기능과 데이터·도구 범위, 테스트 횟수와 비용 한도를 협의한 뒤 제안합니다.
실행 통제: 승인된 환경과 범위에서 점검합니다. 데이터 변경·외부 전송·유료 도구 호출의 허용 여부와 중단 기준을 사전에 정합니다.
결과 설명: 입력부터 답변·도구 실행까지의 기록을 개발 담당자와 함께 확인하고, 통제를 적용할 위치를 논의합니다.
재검증: 수정 대상·일정·반복 조건을 합의합니다. 모델이나 설정이 달라지면 이전 결과와 비교할 수 있는 조건부터 확인합니다.