[디지털데일리 오병훈기자] 인공지능(AI)이 단순 기술을 넘어 국가 경제·안보 핵심기술로 급부상하고 있는 가운데, 정부가 AI 안전성을 평가하고 연구하기 위한 전문 연구소를 정부출연연구기관 내에 설립하기로 했다.

과학기술정보통신부(장관 유상임, 이하 ‘과기정통부’)는 18일 오후 2시 서울 중구 국가과학기술자문회의 대회의실에서 제17차 정보통신전략위원회를 열고 ‘AI안전연구소’ 설립·운영계획을 공개했다.

이날 회의에서는 AI안전연구소 설립·운영계획 주요내용을 공유하고 의견을 수렴하는 시간을 가졌다. 정부는 최근 AI기술이 빠르게 발전‧확산 중이나, AI 기술적 한계와 인간에 의한 AI 기술 오용, AI 자율성 확대 등으로 실재‧잠재적 위험이 확대되고 있다고 봤다.

이에 정부는 AI안전성을 평가‧연구하고, 주요국 AI안전연구소와 협력을 전담하는 조직으로 AI안전연구소를 한국전자통신연구원(ETRI) 내에 설립하기로 했다.

정부는 이번 AI안전연구소 설립을 위해 올해 5월과 6월 주요국(영국·미국·일본 등) AI안전연구소 현장을 방문해 각국 연구소 성격과 역할, 안전 평가방식, 연구소 운영방안 등을 분석했으며, 지난 7월 ‘AI안전연구소 설립자문위원회’와 9월 ‘설립준비위원회’ 운영을 통해 국내 AI분야 전문가 의견을 폭넓게 수렴해 연구소의 비전, 세부기능과 운영방안을 도출했다.

그 결과 AI안전연구소는 ▲안전정책 ▲평가 ▲기술분야 3개 연구실로 구성·운영된다. 연구소 초대소장으로 AI분야 전문성과 국제 협력 역량을 보유한 전문가를 채용하기 위한 절차를 진행 중이다. 연구 인력 규모는 총 30여명까지 점진적으로 확보한다.

사무실은 우수인력 채용과 AI기업·유관기관과 용이한 협력을 위해 판교 글로벌 연구개발(R&D)센터에 설치한다. 연구소는 ‘아태지역을 대표하는 글로벌 AI안전 거점연구소’ 구현을 목표로, 3대 핵심 과제 ▲AI안전에 대한 과학적 이해 증진 ▲AI안전 정책 고도화 및 안전제도 확립 ▲국내 AI기업 안전 확보 지원을 추진한다.

3대 과제를 완수하기 위해 연구소는 ▲AI위험 정의 ▲AI안전 평가 ▲국가차원 관리 주요 AI위험 정의하고 ▲AI안전 평가방법론 개발 및 완화방안 마련 등 4개 핵심 기능을 수행한다. 또, AI안전 평가데이터셋 구축 및 평가도구 개발 등 AI안전 평가인프라를 구축하고, 기업 활용을 지원한다.

AI안전 정책도 연구한다. 주요국·국제기구 AI 규범·거버넌스를 연구하고, 국내·외 주요 AI위험 정보를 수집·분석해 AI안전 정책을 고도화한다. 추가로 AI 기술이 경제·사회·일자리 등에 미치는 영향을 종합적으로 분석하고 대응한다.

AI안전 대내외 협력도 놓치지 않는다. AI안전연구소를 중심으로 산·학·연이 참여하는 ‘AI안전 파트너십’을 구축해 AI안전 정책·기술 분야 연구 협력을 촉진한다. 동시에 글로벌 AI안전 거버넌스 주요 일원으로서 AI안전 확보를 위해 주요국 AI안전연구소, 국제기구 등과 긴밀히 연대·협력한다.

AI안전 확보를 위한 R&D도 추진한다. AI 통제력 상실 대응, AI모델 보안·강건성 강화, AI 딥페이크 탐지 등 AI위험에 대비해 안전을 확보할 수 있는 R&D를 추진한다.

정부는 11월 AI안전연구소를 개소할 예정이며, AI안전연구소는 같은달 20일부터 미국 샌프란시스코에서 개최될 ‘국제 AI안전연구소 네트워크’ 행사 참여를 시작으로 본격적인 역할을 수행한다.

한편, 정부는 AI가 강조됨에 따라 AI를 국정 핵심 아젠다로 두고 지난 4월 ‘AI-반도체 이니셔티브’를 수립했으며, 이어 지난 5월에는 ’AI서울정상회의‘를 개최해 글로벌 AI거버넌스 정상급 선언문인 ‘서울선언’을 도출한 바 있다. 지난달에는 AI G3로 도약하기 위해 대통령을 중심으로 범국가적인 혁신역량을 결집하는 민관 협업 기반 최고위 거버넌스인 ‘국가인공지능위원회’도 설립했다.

유상임 과기정통부 장관은 “향후 1~2년은 우리나라가 인공지능, 디지털 분야 선도국 도약 성패를 좌우할 수 있는 골든타임으로, 정부와 민간이 힘을 합쳐 모든 역량을 총결집 해야할 때”라며 “클라우드컴퓨팅 도입 전면화, AI안전연구소 출범 등 오늘 논의된 내용들을 속도감있게 추진할 수 있도록 관계부처와 적극 협력하겠다”고 말했다.