정재식 금융보안원 AI전략팀장이 28일 서울 소공동 롯데호텔에서 열린 디지털데일리 주최 제1회 NSIS 2024에서 ‘금융분야 생성형 AI 활용 사례와 보안위협시 고려사항’을 주제로 발표에 나서고 있다.

[디지털데일리 이상일기자] 금융보안원이 생성형 AI의 혁신적 가능성에 대한 기대와 함께, 그에 따르는 보안 위협에 대한 경각심을 환기시키고, 철저한 보안 대책의 중요성을 강조하고 나섰다.

최근 금융 산업은 인공지능(AI) 기술의 발전에 따라 다양한 혁신적인 서비스를 제공하고 있다. 특히 생성형 AI(Generative AI)는 텍스트, 이미지, 음성 등 다양한 데이터를 생성할 수 있는 능력으로 금융 분야에서도 활발히 활용되고 있다. 그러나 이러한 기술의 도입은 보안 측면에서 새로운 위협을 초래할 수 있으며, 이에 대한 철저한 대비가 필요하다.

생성형 AI는 주어진 데이터를 학습해 새로운 데이터를 생성하는 모델로, 텍스트 생성, 이미지 생성, 음악 작곡 등 다양한 응용 분야에서 사용된다. 금융권에서는 주로 개인화된 마케팅, 고객 서비스, 투자 자문, 내부 운영 효율화 등의 목적으로 활용되고 있다.

예를 들어, 챗봇을 통해 고객 상담을 자동화하거나, 로보어드바이저를 통해 개인 맞춤형 금융 상품을 추천하는 데 활용되고 있는 상황이다.

이처럼 생성형 AI의 활용이 금융 분야에서 증가하고 있는 상황에서 금융보안원은 이에 따른 다양한 보안 위협이 존재한다는 점을 강조하고 있다. 이러한 위협은 단순한 기술적인 문제를 넘어서 금융 서비스의 안전성과 신뢰성에 중대한 영향을 미칠 수 있기 때문이라는 설명이다.

금융보안원 AI혁신실 정재식 팀장은 28일 소공동 롯데호텔 서울에서 <디지털데일리>가 개최한 제1회 ‘차세대 보안혁신 서밋(NSIS·Next Security Innovation Summit) 2024’에서 "생성형 AI의 금융분야 활용은 혁신적인 서비스 제공과 고객 만족도 향상에 기여할 수 있지만, 이에 따른 보안 위협을 간과해서는 안된된다"며 "금융보안원은 금융 기관들이 생성형 AI 활용 시 발생할 수 있는 보안 위협을 체계적으로 관리하고 대응할 수 있도록 다양한 방안을 제시하고 있다"고 설명했다.

생성형 AI의 활용이 증가함에 따라 대두되고 있는 보안 위협으로는 우선 '프롬프트 인젝션(Prompt Injection)' 이 주목된다.

이는 공격자가 조작된 입력을 통해 AI 모델이 의도하지 않은 작업을 수행하도록 유도할 수 있는 상황을 말한다. 예를 들어, 금융 기관의 챗봇에 사용자가 입력한 내용이 악의적으로 조작되어 예상치 못한 응답을 생성하게 하는 경우가 있다. 이를 방지하기 위해서는 사용자 입력 프롬프트와 외부 콘텐츠를 철저히 분리하고, 민감한 작업에는 반드시 사람의 감독을 개입시키는 조치가 필요하다는 지적이다​​.

출력 처리의 불안정(Insecure Output Handling) 위협도 중요하다. 생성형 AI가 생성한 출력 결과가 검증되지 않고 시스템 명령어로 실행되거나 원격으로 실행될 경우 심각한 보안 위협을 초래할 수 있다.

예를 들어, AI 모델이 생성한 텍스트가 자동으로 시스템 명령어로 실행되면 의도치 않은 시스템 조작이 발생할 수 있다. 이를 막기 위해 모델 출력에 대해 철저한 검증을 수행하고, 출력 결과가 실행 가능한 코드로 변환되지 않도록 인코딩하는 등의 조치가 요구된다​​.

훈련 데이터 오염(Training Data Poisoning) 위협의 경우 악의적인 행위자가 훈련 데이터를 조작해 AI 모델에 취약점이나 편향을 주입하는 경우를 말한다.

예를 들어, 금융 데이터 세트를 오염시켜 모델이 특정한 패턴을 학습하도록 유도하면, 모델의 예측이 왜곡될 수 있다. 이를 방지하기 위해 훈련 데이터의 무결성을 검증하고, 강력한 샌드박스 정책을 통해 데이터 오염을 차단하는 것이 중요하다​​는 것이 정재식의 설명이다.

과도한 권한 부여(Excessive Agency) 위협은 AI 모델에 과도한 권한을 부여함으로써 민감한 데이터베이스 접근이나 시스템 명령어 실행 등 위험한 작업을 허용하는 상황을 말한다. 예를 들어, AI 모델이 금융 거래 데이터를 직접 수정하거나 삭제할 수 있는 권한을 가지게 되면 큰 문제가 발생할 수 있다. 따라서 모델의 권한을 최소화하고, 고위험 작업에는 반드시 사람의 승인을 받도록 하는 것이 필요하다.

마지막으로 모델 도용(Model Theft) 위협은 악의적인 공격자가 AI 모델을 무단으로 복제하여 사용하는 경우를 말한다. 예를 들어, 금융 기관의 중요한 AI 모델이 외부로 유출되어 경쟁사나 악의적인 사용자에게 악용될 수 있기 때문에 이를 예방하기 위해 모델 저장소를 안전하게 관리하고, 접근 제어 체계를 강화하며, 모델 추출 시도를 감시하는 것이 필요하다는 것이 정재식 팀장의 설명이다.