우리 대부분은 낯선 이름을 가진 후보자를 거부하는 알고리즘부터 소수 민족을 높은 수준의 범죄와 불균형하게 연관시키는 예측 범죄 AI에 이르기까지 '편향된 알고리즘'에 대한 공포 이야기를 들어본 적이 있습니다.이런 일이 앞으로도 계속되는 것을 막으려면 연구자들이 이러한 편견을 조기에 파악하는 것이 중요합니다.스탠포드 대학교는 최근 윤리 및 사회 검토 (ESR) 를 출범했습니다. 윤리 및 사회 검토 (ESR) 에는 스탠포드 인간 중심 AI 연구소의 자금 지원을 원하는 연구자는 자신의 제안이 사회에 미칠 수 있는 잠재적 부정적인 결과를 나열해야 하는 양식도 제출해야 합니다.이를 통해 ESR은 개발의 첫 단계에서 수정하기 쉬운 편향을 조기에 찾아낼 수 있을 것으로 기대하고 있습니다.이 프로세스는 지금까지 성공을 거두었고 잠재력을 보여주었지만 AI 위험 관리에 대한 필요성은 전 세계적으로 계속 증가하고 있습니다.
현재의 위험 관리 부족
AI는 아직 비교적 새로운 개념이며 기관 검토 위원회 (Institutional Review Board) 와 같은 제도적 절차에서 사회에 해로울 수 있는 요소에 대한 검토를 고려하는 범위에 속하지 않습니다.현재 AI와 관련된 가장 큰 위험 중 일부는 차별, 개인 정보 침해 및 잘못된 구현입니다.AI에서 문제가 발생할 경우 기업은 평판 손상과 자금 손실을 포함한 모든 영향에 대해 책임을 집니다.AI는 초기 단계에 있기 때문에 기업은 사회적 피해의 전체 범위를 고려하지 않는 경우가 많으며, 이로 인해 위험을 얼마나 잘 완화할 수 있을지 과대평가하게 됩니다.따라서 제품이 사회에 어떤 영향을 미칠 수 있는지에 대한 적절한 선견지명이 필요합니다.
앞으로 나아가기
잠재적 위험을 줄이려면 업데이트된 절차를 포함하고 AI와 상호 작용하는 모든 작업자를 재교육하는 등 전사적 제어를 배포해야 합니다.예를 들어, Omneky 직원은 AI 사용 방법과 장소에 대한 교육을 받을 뿐만 아니라 회사가 잠재적 피해를 줄이기 위해 어떻게 주도권을 잡고 있는지 잘 알고 있습니다.
전사적 통제에는 초기 개발부터 최종 생산까지 가이드라인을 구현해야 합니다.초기 단계에서는 기업이 제품 성능 진행 상황을 투명하고 정직하게 보고할 뿐만 아니라 피드백 루프를 개발 주기에 통합하는 것이 중요합니다.
GPT-3 관련 흔한 문제인 인터넷에서 알게 된 차별이나 비하 발언을 줄이려면 기업은 샘플 외 테스트 및 백 테스트를 통합하고 정기적으로 제품을 평가하여 데이터 저하를 찾아내야 합니다.편향된 예측 범죄 AI와 같이 앞서 언급한 문제를 방지하려면 모델 결과를 독립적으로 검토하고 편견이 없는 것으로 정리해야 합니다.구현 문제를 피하려면 상세한 모델 테스트와 제품이 사용될 수 있는 모든 가능한 시나리오를 고려한 엄격한 요구 사항을 준수해야 합니다.마지막으로, 모델 사용 및 의사 결정을 고려하는 마지막 단계에서는 모델 성능 모니터링뿐 아니라 문제가 발생할 경우 이를 완화하는 방법에 대한 계획을 수립해야 합니다.
Omneky는 이러한 제안을 진지하게 받아들이는 것의 중요성을 높이 평가하며 이를 구현하기 위해 적극적으로 노력하고 있습니다.