A maioria de nós já ouviu histórias de terror sobre “algoritmos tendenciosos” — desde aqueles que rejeitam candidatos com nomes que soam estrangeiros até inteligência artificial preditiva de crimes que associam desproporcionalmente minorias a níveis mais altos de crime. Para evitar a continuação disso no futuro, é vital que os pesquisadores detectem esses preconceitos desde o início. A Universidade de Stanford lançou recentemente a The Ethics and Society Review (ESR), que exige que os pesquisadores que buscam financiamento do Instituto Stanford de IA centrada no ser humano também enviem formulários nos quais devem listar quaisquer possíveis consequências negativas que suas propostas possam ter na sociedade. Ao fazer isso, o ESR espera detectar preconceitos logo nos primeiros estágios de desenvolvimento, quando é mais fácil corrigi-lo. Embora esse processo tenha gerado sucesso e mostrado potencial até agora, a necessidade de gerenciamento de riscos de IA continua crescendo em escala global.
Falta atual de gerenciamento de riscos
A IA ainda é um conceito relativamente novo e não está dentro do escopo do que processos institucionais, como o Conselho de Revisão Institucional, consideram revisar o que pode ser prejudicial à sociedade. Atualmente, alguns dos maiores riscos relacionados à IA são discriminação, violação de privacidade e implementação incorreta. Se algo der errado na IA, as empresas são responsáveis por todas as repercussões, que também incluem danos à reputação e perda de fundos. Como a IA está nos estágios iniciais, as empresas nem sempre consideram o escopo total dos danos sociais, o que leva a uma superestimação de quão bem elas serão capazes de mitigar os riscos. Como resultado, é necessário criar uma visão adequada sobre como os produtos podem impactar a sociedade.
Seguindo em frente
Para mitigar riscos potenciais, é necessário implantar controles em toda a empresa que incluam procedimentos atualizados e retreinar todos os trabalhadores que interagem com a IA. Por exemplo, os funcionários da Omneky são treinados sobre como e onde usar a IA, além de estarem familiarizados com a forma como a empresa está tomando a iniciativa de reduzir possíveis danos.
Os controles em toda a empresa exigem a implementação de diretrizes desde o desenvolvimento inicial até a produção final. Nos estágios iniciais, é importante que as empresas incorporem ciclos de feedback no ciclo de desenvolvimento, bem como relatórios transparentes e honestos sobre o progresso do desempenho do produto.
Para diminuir coisas como discriminação ou comentários depreciativos aprendidos na Internet, que são um problema comum com o GPT-3, as empresas devem incorporar testes extra-amostrais e retroativos e avaliar o produto regularmente para detectar qualquer degradação de dados. Para evitar problemas mencionados anteriormente, como IA preditiva tendenciosa de crimes, os resultados do modelo devem ser revisados de forma independente e liberados para que sejam livres de preconceitos. Para evitar problemas de implementação, testes detalhados do modelo e adesão a requisitos rígidos que considerem todos os cenários possíveis em que o produto pode ser usado são necessários. Por fim, a etapa final, que considera o uso do modelo e a tomada de decisão, requer a criação de planos de como mitigar as consequências caso elas ocorram, bem como o monitoramento do desempenho do modelo.
A Omneky valoriza muito a importância de levar essas sugestões a sério e está trabalhando vigorosamente para implementá-las. 
