엔비디아, OpenShell·Sentry 공개…프롬프트 지침만 믿지 말고 계정·파일·네트워크 접근을 외부에서 강제해야
(출처: unsplash)
AI 에이전트는 질문에 답하는 데서 벗어나 파일을 열고 코드를 실행하며 업무시스템을 직접 조작한다. 엔비디아가 9월 28일 공개한 보안 플랫폼은 모델의 답변보다 행동이 실행되는 환경을 통제하는 데 초점을 맞췄다. 기업에는 어떤 AI가 무엇을 할 수 있고 어디에서 반드시 멈춰야 하는지를 정하는 일이 먼저다.
모델의 안전지침과 실행환경의 통제는 다르다
엔비디아의 Open Agent Safety Platform은 오픈소스 소프트웨어 OpenShell과 하드웨어 기반 감시 설계 Sentry로 구성된다. OpenShell은 에이전트가 동작하는 동안 파일, 네트워크, 도구와 자격증명에 관한 정책을 적용한다. Sentry는 BlueField-4 DPU의 별도 영역에서 행동을 감시하고 경계를 벗어난 에이전트를 격리하도록 설계됐다.
기존 방식은 모델에 “민감한 파일을 열지 말라”거나 “승인 없이 외부로 전송하지 말라”는 지침을 넣는 데 크게 의존했다. 그러나 에이전트가 지시를 잘못 해석하거나 외부 문서에 삽입된 악성 명령을 따르면 애플리케이션 내부 안전장치를 우회할 수 있다.
실행환경 통제는 출입문과 비슷하다. 직원에게 보안교육을 했더라도 서버실 출입카드의 권한을 제한하는 것처럼, AI에도 모델 밖에서 강제되는 경계가 필요하다. 엔비디아가 밝힌 수밀리초 격리와 성능효율은 회사의 기술 설명이며 다양한 클라우드·업무환경에서의 효과는 독립적으로 검증돼야 한다.
먼저 제한해야 할 것은 계정과 자격증명이다
AI 에이전트에 직원의 관리자 계정이나 장기간 유효한 API 키를 제공하면 모든 행동이 사람의 이름으로 기록될 수 있다. 사고가 나도 사람이 실행했는지 AI가 실행했는지 구분하기 어려워진다.
기업은 에이전트마다 별도 신원을 만들고 특정 업무와 시간에만 유효한 권한을 부여해야 한다. 이메일을 요약하는 에이전트에는 읽기 권한만 주고, 발송·삭제 권한은 별도 승인으로 분리하는 방식이다. 고객자료 검색에도 전체 데이터베이스가 아니라 필요한 테이블과 필드만 접근하도록 해야 한다.
자격증명은 에이전트의 프롬프트나 메모리에 직접 넣지 않아야 한다. 승인된 비밀관리 시스템이 실행 시점에만 제공하고, 비정상 행동이 감지되면 해당 세션과 계정을 함께 폐기할 수 있어야 한다.
파일·네트워크·도구를 하나의 정책으로 묶어야 한다
에이전트의 행동은 한 시스템 안에서 끝나지 않는다. 문서를 읽고 웹사이트를 검색한 뒤 코드를 실행하고 결과를 외부 서비스에 전송할 수 있다. 각각의 단계가 허용된 행동처럼 보여도 연결하면 민감정보 유출이 될 수 있다.
따라서 접근정책은 파일, 네트워크와 도구를 따로 관리하는 데서 그치면 안 된다. 인사자료를 읽은 세션은 외부 인터넷 전송을 금지하고, 외부 코드를 내려받은 세션은 운영서버 배포를 막는 식의 맥락별 정책이 필요하다.
도구 호출 횟수와 처리시간, 다운로드 용량과 비용에도 한도를 둬야 한다. 잘못된 반복 실행은 보안사고가 아니더라도 클라우드 비용을 키우거나 거래처에 수천 건의 메시지를 보낼 수 있다.
고위험 행동에는 사람이 이해할 수 있는 승인이 필요하다
송금, 계약 체결, 운영환경 코드 배포, 대량 고객연락과 개인정보 반출은 사람이 최종 승인해야 한다. 그러나 화면에 ‘승인’ 버튼만 추가하면 충분하지 않다.
승인자는 AI가 어떤 자료를 사용했고 무엇을 변경하며 예상 비용과 영향을 어떻게 계산했는지 확인할 수 있어야 한다. 한 사람이 매일 수백 건을 형식적으로 승인한다면 인간 검토는 실제 통제가 되지 못한다. 위험 수준에 따라 자동승인·표본검토·필수승인을 나눠야 한다.
중단장치도 운영부서가 실제로 사용할 수 있어야 한다. 보안팀에 연락해야만 멈출 수 있는 구조보다 담당자가 세션을 즉시 중지하고 자격증명을 폐기한 뒤 조사팀에 기록을 넘길 수 있는 절차가 현실적이다.
보안인력의 역할은 경보처리에서 행동경계 설계로 이동한다
에이전트 보안이 확산하면 보안팀 혼자 모든 정책을 만들 수 없다. 현업은 업무 흐름과 필요한 예외를 설명하고, 개발자는 도구 연결과 로그를 설계하며, 보안팀은 권한과 차단조건을 검증해야 한다. 감사·법무조직은 기록 보존과 책임소재를 확인해야 한다.
보안담당자에게도 새로운 역량이 요구된다. 전통적인 계정·네트워크 지식에 더해 에이전트가 목표를 분해하는 방식, 도구 호출 구조와 모델의 불확실성을 이해해야 한다. 직원 교육 역시 프롬프트 활용법이 아니라 이상행동을 알아차리고 중지·신고하는 훈련까지 포함해야 한다.
좋은 AI는 많은 일을 하는 AI가 아니라 안전하게 멈추는 AI다
엔비디아의 발표는 특정 제품 하나의 출시보다 AI 보안의 방향 변화를 보여준다. 모델이 올바르게 판단하기를 기대하는 것만으로는 행동형 AI를 업무시스템에 연결하기 어렵다.
기업은 현재 사용 중인 에이전트 목록, 연결된 계정과 시스템, 읽기·수정·삭제 권한, 외부 전송경로와 비상중단 절차부터 점검해야 한다. 플랫폼 도입보다 이 권한지도가 먼저다.
AI 경쟁력은 에이전트가 자율적으로 처리한 업무량만으로 평가할 수 없다. 잘못된 행동을 발견하고 피해가 커지기 전에 멈출 수 있는 조직이 장기적으로 더 빠르게 자동화를 확대할 수 있다.
Copyright © 밸류체인타임스. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.
[밸류체인타임스 = 한유영 기자]
엔비디아, OpenShell·Sentry 공개…프롬프트 지침만 믿지 말고 계정·파일·네트워크 접근을 외부에서 강제해야
(출처: unsplash)
AI 에이전트는 질문에 답하는 데서 벗어나 파일을 열고 코드를 실행하며 업무시스템을 직접 조작한다. 엔비디아가 9월 28일 공개한 보안 플랫폼은 모델의 답변보다 행동이 실행되는 환경을 통제하는 데 초점을 맞췄다. 기업에는 어떤 AI가 무엇을 할 수 있고 어디에서 반드시 멈춰야 하는지를 정하는 일이 먼저다.
모델의 안전지침과 실행환경의 통제는 다르다
엔비디아의 Open Agent Safety Platform은 오픈소스 소프트웨어 OpenShell과 하드웨어 기반 감시 설계 Sentry로 구성된다. OpenShell은 에이전트가 동작하는 동안 파일, 네트워크, 도구와 자격증명에 관한 정책을 적용한다. Sentry는 BlueField-4 DPU의 별도 영역에서 행동을 감시하고 경계를 벗어난 에이전트를 격리하도록 설계됐다.
기존 방식은 모델에 “민감한 파일을 열지 말라”거나 “승인 없이 외부로 전송하지 말라”는 지침을 넣는 데 크게 의존했다. 그러나 에이전트가 지시를 잘못 해석하거나 외부 문서에 삽입된 악성 명령을 따르면 애플리케이션 내부 안전장치를 우회할 수 있다.
실행환경 통제는 출입문과 비슷하다. 직원에게 보안교육을 했더라도 서버실 출입카드의 권한을 제한하는 것처럼, AI에도 모델 밖에서 강제되는 경계가 필요하다. 엔비디아가 밝힌 수밀리초 격리와 성능효율은 회사의 기술 설명이며 다양한 클라우드·업무환경에서의 효과는 독립적으로 검증돼야 한다.
먼저 제한해야 할 것은 계정과 자격증명이다
AI 에이전트에 직원의 관리자 계정이나 장기간 유효한 API 키를 제공하면 모든 행동이 사람의 이름으로 기록될 수 있다. 사고가 나도 사람이 실행했는지 AI가 실행했는지 구분하기 어려워진다.
기업은 에이전트마다 별도 신원을 만들고 특정 업무와 시간에만 유효한 권한을 부여해야 한다. 이메일을 요약하는 에이전트에는 읽기 권한만 주고, 발송·삭제 권한은 별도 승인으로 분리하는 방식이다. 고객자료 검색에도 전체 데이터베이스가 아니라 필요한 테이블과 필드만 접근하도록 해야 한다.
자격증명은 에이전트의 프롬프트나 메모리에 직접 넣지 않아야 한다. 승인된 비밀관리 시스템이 실행 시점에만 제공하고, 비정상 행동이 감지되면 해당 세션과 계정을 함께 폐기할 수 있어야 한다.
파일·네트워크·도구를 하나의 정책으로 묶어야 한다
에이전트의 행동은 한 시스템 안에서 끝나지 않는다. 문서를 읽고 웹사이트를 검색한 뒤 코드를 실행하고 결과를 외부 서비스에 전송할 수 있다. 각각의 단계가 허용된 행동처럼 보여도 연결하면 민감정보 유출이 될 수 있다.
따라서 접근정책은 파일, 네트워크와 도구를 따로 관리하는 데서 그치면 안 된다. 인사자료를 읽은 세션은 외부 인터넷 전송을 금지하고, 외부 코드를 내려받은 세션은 운영서버 배포를 막는 식의 맥락별 정책이 필요하다.
도구 호출 횟수와 처리시간, 다운로드 용량과 비용에도 한도를 둬야 한다. 잘못된 반복 실행은 보안사고가 아니더라도 클라우드 비용을 키우거나 거래처에 수천 건의 메시지를 보낼 수 있다.
고위험 행동에는 사람이 이해할 수 있는 승인이 필요하다
송금, 계약 체결, 운영환경 코드 배포, 대량 고객연락과 개인정보 반출은 사람이 최종 승인해야 한다. 그러나 화면에 ‘승인’ 버튼만 추가하면 충분하지 않다.
승인자는 AI가 어떤 자료를 사용했고 무엇을 변경하며 예상 비용과 영향을 어떻게 계산했는지 확인할 수 있어야 한다. 한 사람이 매일 수백 건을 형식적으로 승인한다면 인간 검토는 실제 통제가 되지 못한다. 위험 수준에 따라 자동승인·표본검토·필수승인을 나눠야 한다.
중단장치도 운영부서가 실제로 사용할 수 있어야 한다. 보안팀에 연락해야만 멈출 수 있는 구조보다 담당자가 세션을 즉시 중지하고 자격증명을 폐기한 뒤 조사팀에 기록을 넘길 수 있는 절차가 현실적이다.
보안인력의 역할은 경보처리에서 행동경계 설계로 이동한다
에이전트 보안이 확산하면 보안팀 혼자 모든 정책을 만들 수 없다. 현업은 업무 흐름과 필요한 예외를 설명하고, 개발자는 도구 연결과 로그를 설계하며, 보안팀은 권한과 차단조건을 검증해야 한다. 감사·법무조직은 기록 보존과 책임소재를 확인해야 한다.
보안담당자에게도 새로운 역량이 요구된다. 전통적인 계정·네트워크 지식에 더해 에이전트가 목표를 분해하는 방식, 도구 호출 구조와 모델의 불확실성을 이해해야 한다. 직원 교육 역시 프롬프트 활용법이 아니라 이상행동을 알아차리고 중지·신고하는 훈련까지 포함해야 한다.
좋은 AI는 많은 일을 하는 AI가 아니라 안전하게 멈추는 AI다
엔비디아의 발표는 특정 제품 하나의 출시보다 AI 보안의 방향 변화를 보여준다. 모델이 올바르게 판단하기를 기대하는 것만으로는 행동형 AI를 업무시스템에 연결하기 어렵다.
기업은 현재 사용 중인 에이전트 목록, 연결된 계정과 시스템, 읽기·수정·삭제 권한, 외부 전송경로와 비상중단 절차부터 점검해야 한다. 플랫폼 도입보다 이 권한지도가 먼저다.
AI 경쟁력은 에이전트가 자율적으로 처리한 업무량만으로 평가할 수 없다. 잘못된 행동을 발견하고 피해가 커지기 전에 멈출 수 있는 조직이 장기적으로 더 빠르게 자동화를 확대할 수 있다.
Copyright © 밸류체인타임스. All rights reserved. 무단 전재 및 재배포, AI학습 이용 금지.
[밸류체인타임스 = 한유영 기자]