[디지털데일리 오병훈기자] 지속가능한 인공지능(AI)과 설명가능한 AI 등 AI 안전·윤리를 위한 의제 및 사례를 공유하기 위해 정부와 기업, 학계 관계자들이 한자리에 모였다.

26일 과학기술정보통신부(장관 유상임, 이하 과기정통부) 피스앤파크 컨벤션에서 국내 대표 AI분야 대기업‧스타트업, 연구자 등 200여명이 참여하는 가운데, ‘AI신뢰‧안전성 컨퍼런스’를 개최했다.

이번 컨퍼런스는 국제적으로 강조되고 있는 AI신뢰‧안전성 기술‧정책 동향을 공유하고, 정부지원 연구결과물 주요성과와 민간 이행현황을 점검하며, 국내 AI신뢰‧안전성 확보 우수사례를 선정 ‧확산하기 위해 개최됐다.

이번 컨퍼런스 행사에는 ▲국내‧외 AI신뢰‧안전 기술‧정책 동향 공유 ▲AI서울기업서약 이행현황 발표 ▲‘생성형 AI레드팀 챌린지’ 결과 소개 ▲제2회 AI신뢰성 대상 시상 시간이 마련됐다.

먼저 기술 정책 동향 시간에는 AI분야 세계적 석학인 몬트리올대 요슈아벤지오 교수가 기조강연 무대에 올랐다. 그는 “AI안전 확보를 위한 정책과 과학의 중요성을 강조하고, 최첨단AI모델의 위험에 대한 효과적인 관리를 위해 국내법-국제협약간의 상호조화가 필요 하다”며 “과학측면에서는 AI모델 정렬과 통제가 중요이슈로, 정량적으로 측정가능한 AI모델 위험평가, 위험관리기술 확보를 위한 정부 지원 확대와 AI안전연구소의 역할이 필요하다”고 강조했다.

AI서울기업서약 이행현황 발표 차례에는 ‘AI서울기업서약’에 참여한 국내 6개사(네이버·카카오·삼성전자·SK텥레콤·KT·LG AI연구원)가 모두 참여한 가운데, 안전하고 신뢰할 수 있는 AI를 개발하기 위한 위험 관리 방안 수립, 기술 연구, 내부거버넌스 마련 등 각사의 이행현황을 공유했다. 6개 기업은 자사가 제공하는 AI제품‧서비스와 관련된 책임을 깊이 인식하고, 향후 AI신뢰‧안전성 확보를 위한 노력을 강화할 것을 약속하였다.

생성형 AI레드팀 챌린지 결과 소개 시간도 가졌다. 과기정통부는 올해 4월 AI연구자‧대학생‧일반시민 등 1000여명이 참여해 국내 AI기업 4개사(네이버‧SKT‧업스테이지‧포티투마루) 생성형 AI, 대형언어모델(LLM)을 대상으로 잠재적 위험‧취약점(유해정보, 편견‧차별 등)을 발굴하는 ‘생성형 AI레드팀 챌린지’ 행사를 개최한 바 있다.

과기정통부는 레드팀 챌린지 결과를 활용해 생성형 AI안전 프레임체계를 구축하고, 국내기업이 자사 생성형 AI모델 잠재위험을 사전에 파악해 신뢰‧안전성을 확보할 수 있도록 지원할 계획이다.

제2회 AI신뢰성 대상은 다비오가 개발한 다비오 ‘어스아이2.0’이 수상했다. 심사위원들은 ‘신뢰할 수 있는 AI개발안내서’에 기반해 자체적인 데이터 품질관리 프로세스를 수립‧적용한 점을 높이 평가했다.

송상훈 과기정통부 정보통신정책실장은 “정부가 지속적으로 추진해 온 AI 신뢰‧안전성 정책 노력에 호응해, 최근 산업계‧학계에서도 AI신뢰‧안전성 전담조직 설치와 투자 확대 등 자발적인 노력이 확대되고 있다”며 “민간자율에 기반한 책임있는 AI개발‧활용 문화가 확산될 수 있도록 정책 지원을 강화하고, 첨단AI로 인한 잠재적 위험에 대비해 AI안전연구소를 출범하고 국가차원에서 체계적으로 대응해 나가겠다”고 강조했다.

한편, 국내외 안전한AI 연구 공조체계 구축을 목표로 설립되는 AI안전연구소는 오는 27일 출범 예정이다. AI안전연구소는 3대 핵심 과제 ▲AI안전에 대한 과학적 이해 증진 ▲AI안전 정책 고도화 및 안전제도 확립 ▲국내 AI기업 안전 확보 지원을 목표로 설립된다. 초대소장은 김명주 서울여대 정보보학부 교수가 맡게 됐다.