치열한 경쟁이 일상이 된 현대 사회에서 모든 기업은 기술 혁신 우위를 점하기 위해 AI(인공지능) 기술에 막대한 투자를 한다. 그리고 기업들은 AI를 개발할 때 윤리와 규제의 필요성도 제기한다. 글로벌 회계·컨설팅 그룹 딜로이트 조사에서 최고 경영진 중 88%가 직원들에게 AI의 윤리적 사용을 알리기 위한 조치를 기업 차원에서 취하고 있다고 한다. 그렇다면 AI 혁신에서 윤리와 규제가 중요한 이유는 무엇일까.

AI 발전은 인간이 정의한 규칙에 따라 의사결정을 내리는 시스템 구축에서 시작했다. 이후 AI는 방대한 데이터 세트로 학습한 복잡한 모델을 통해 자동화된 규칙 정의, 콘텐츠 제작과 의사결정을 할 수 있을 만큼 발전했다. 하지만 AI는 사회적 영향이나 윤리적 요소를 고려하지 않고 지정된 목표에 따른 최적화에 우선순위를 둔다. 즉, 대중의 공감을 얻기 힘들거나 신뢰를 잃을 수 있는 판단을 하게 될 가능성이 있다.

실례로 2021년 네덜란드에서는 운전기사 6명이 알고리즘을 통한 자동 해고 절차에 의해 부당하게 회사에서 쫓겨나는 일이 발생했으며, 2023년 영국의 일부 음식 배달원도 비슷하게 별다른 설명 없이 부당 해고된 바 있다. 이 외에도 AI의 잘못된 판단으로 성별에 따라 달라지는 대출금 책정, 안면 인식 등 개인정보 침해를 통한 보험금 청구 절차 등이 있다. 이러한 문제는 전 세계적으로 발생하며 다양한 논란을 불러 일으키고 있다.

AI의 잘못된 판단은 대부분 설명 가능성 문제에 기인하는 경우가 많다. AI와 딥러닝 모델은 인간이 사용하는 규칙을 따르지 않고 복잡한 계산을 거쳐 결론에 도달한다. 이 때문에 전문가들조차 AI 기능은 이해하지만 작동 원리나 결론 도달 과정은 이해하기 어렵다고 말한다. 앞의 예시와 같이 AI는 인간이 이해하기 힘든 판단을 내리기도 하기 때문에 인간의 적절한 감독이 필요하다.

특히 챗GPT나 소라(SORA) 같은 생성형 AI 도구는 사회 전체 산업을 발전시킬 수 있는 큰 잠재력을 갖고 있지만, 저작권 침해와 같은 문제를 야기할 수 있다. 물론 이러한 생성형 AI에는 남용 방지를 위한 안전장치가 있지만, 일부 사용자는 해당 안전장치를 우회한다. 사이버 범죄자들은 멀웨어를 코딩하고 그럴듯한 피싱 이메일을 대량 생산하기 위해 사전 학습된 AI를 만들기도 한다. 현시점에서는 유해한 결과물이 생성되는 것을 효과적으로 감지하고 억제할 수 있는 도구나 법이 거의 없는 실정이다.

윤리적 AI는 핵심 윤리 원칙, 책임성, 투명성, 설명가능성, 거버넌스를 AI 모델에 통합한다. 복잡한 AI를 설명 가능하게 개선하고 윤리를 강화하면 기업이 AI로 야기되는 단점을 비교적 쉽게 극복할 수 있다. 의사결정의 정확성과 효율성도 크게 향상할 수 있다. 이 때문에 많은 공공 및 민간기관은 AI 오용의 위험을 줄이고 윤리적 AI를 발전시키기 위해 협력하고 있다.

사람들이 신뢰할 수 있는 AI 시스템을 구축하려면 기업은 신뢰할 수 있는 정보 출처를 확보해야 한다. 신뢰할 수 있는 데이터는 정확하고, 일관되며, 데이터 편향이 없어야 한다. 이를 기반으로 윤리적으로 설계된 기업용 AI 시스템은 공정한 결과를 일관되게 제시할 수 있다. 기업은 문제를 쉽게 파악하고, 논리의 허점을 보완하고, 결과를 개선하며, 기업의 혁신이 규정을 준수하는지 평가할 수 있다.

기업이 더 나은 윤리적 AI 시스템을 개발하고자 한다면 우선 의도에 집중해야 한다. 데이터로 학습된 AI 시스템에는 입력한 데이터 외에 사용자가 정의하지 않는 한 도덕적 기준도, 공정의 기준도 없다. 따라서 AI 시스템 구축에는 시스템 설계의 동기가 되는 의도를 분명하고 신중하게 생각해야 한다. 이때 윤리적으로 고려할 사항을 식별하고, 수치화해 성능 목표와 균형을 맞춰야 한다.

잘 설계된 AI 시스템은 편견, 인과관계, 불확실성을 염두에 두고 만들어진다. 기업은 데이터 외에 모델 설계도 편견의 원인이 될 수 있다는 점을 기억해야 한다. 기업은 오래된 데이터로 인해 모델이 부정확해지기 시작하는 시점마다 정기적으로 감사를 실시해야 한다.

기업의 윤리적 AI 시스템을 위해서는 인간의 감독이 중요하다. AI 시스템은 양질의 데이터로 학습하면 안정적으로 좋은 결정을 내릴 수 있지만 감성 지능이 부족하고 예외적인 상황에 대처하기 어렵다. 가장 효과적인 시스템은 인간의 판단과 AI를 지능적으로 결합한 시스템이다. 특히 AI 모델의 결과에 대한 신뢰도가 낮은 경우에는 감독할 사람을 꼭 확보해야 한다.

보안과 규정 준수를 강화하는 것도 도움이 될 수 있다. 보안과 규정 준수에 중점을 둔 윤리적 AI 시스템을 개발하면 시스템에 대한 신뢰를 강화하고 기업 전반에 걸쳐 시스템 구축을 촉진하는 동시에 현지와 지역별 규정을 준수할 수 있다.

최신 데이터 아키텍처를 지원하는 데이터 플랫폼과 같이 더 나은 도구를 활용하면 전체 데이터와 AI 모델 라이프사이클 전반에 걸쳐 데이터 관리 및 분석 역량을 크게 향상할 수 있다. 이상적인 플랫폼은 보안과 거버넌스에 대한 제어 기능이 내장돼 있어 기업이 데이터 분석과 AI를 대규모로 사용하는 경우에도 AI 기반 의사결정에 대한 투명성과 통제력을 유지할 수 있어야 한다.

윤리적이지 않고 규제를 지키지 않는 AI는 큰 혼란을 일으킬 수 있다. 기업은 기업의 발전을 위해 AI를 사용해야 하지만 이에 대한 통제권을 잃어선 안된다. 기업 스스로 자신이 사용하는 AI를 검토하고 개선하려는 노력을 지속한다면 AI 시대를 앞서 나갈 수 있을 것이다.

최승철 / 클라우데라코리아 지사장

<기고와 칼럼은 본지 편집방향과 무관합니다.>