A ascensão da inteligência artificial (IA) traz consigo a necessidade urgente de segurança. Zico Kolter, professor da Carnegie Mellon University, assume um papel crucial na OpenAI, com a responsabilidade de vetar lançamentos de sistemas de IA considerados inseguros. Essa autoridade abrange desde potenciais armas de destruição em massa até o impacto negativo na saúde mental.
A Importância do Papel de Zico Kolter
Kolter lidera um painel de quatro pessoas na OpenAI com o poder de suspender o lançamento de novos sistemas de IA caso sejam identificados riscos significativos. Em entrevista à Associated Press, Kolter enfatizou que as preocupações não se limitam a cenários existenciais, mas abrangem toda a gama de questões críticas de segurança associadas à ampla adoção desses sistemas.
O Comitê de Segurança e Proteção da OpenAI
O cientista da computação foi convidado para presidir o Comitê de Segurança e Proteção da OpenAI há mais de um ano. No entanto, a relevância dessa posição aumentou consideravelmente quando reguladores da Califórnia e de Delaware incluíram a supervisão de Kolter como um pilar fundamental em seus acordos recentes, permitindo à OpenAI reestruturar-se para facilitar a captação de recursos e o aumento de lucros.
Missão e Críticas à OpenAI
Desde sua fundação como um laboratório de pesquisa sem fins lucrativos, a OpenAI tem como missão o desenvolvimento de uma IA superior à humana para o benefício da humanidade. Contudo, após o estrondoso sucesso do ChatGPT, a empresa tem sido acusada de lançar produtos prematuramente, antes de estarem completamente seguros, na ânsia de manter sua liderança na corrida pela IA. As controvérsias internas, que culminaram na saída temporária do CEO Sam Altman em 2023, expuseram publicamente essas preocupações.
A Conversão para uma Empresa com Fins Lucrativos
A organização, sediada em São Francisco, enfrentou resistência, incluindo um processo movido pelo cofundador Elon Musk, ao iniciar seu processo de conversão para uma estrutura empresarial mais tradicional, visando o avanço contínuo de sua tecnologia.
Acordos para Acalmar Preocupações
Os acordos anunciados na semana passada pela OpenAI, em conjunto com o Procurador-Geral da Califórnia, Rob Bonta, e a Procuradora-Geral de Delaware, Kathy Jennings, visam mitigar algumas dessas inquietações.
Prioridade à Segurança sobre Finanças
Central para esses compromissos formais é a garantia de que as decisões sobre segurança e proteção da IA prevalecerão sobre considerações financeiras. Isso se dá no contexto da formação de uma nova corporação de benefício público, que, embora tecnicamente sob o controle da OpenAI Foundation sem fins lucrativos, busca um equilíbrio entre lucro e propósito.
O Papel de Kolter na Nova Estrutura
Kolter integrará o conselho da organização sem fins lucrativos, mas não o conselho com fins lucrativos. Entretanto, ele terá “direitos de observação completos”, permitindo sua presença em todas as reuniões do conselho com fins lucrativos e acesso às informações relevantes sobre decisões de segurança de IA, conforme detalhado no memorando de entendimento entre Bonta e a OpenAI. Kolter é a única pessoa, além de Bonta, a ser mencionada especificamente no documento.
Autoridade do Painel de Segurança
Kolter declarou que os acordos confirmam, em grande parte, a manutenção das autoridades já detidas por seu comitê de segurança. Os outros três membros do painel também fazem parte do conselho da OpenAI, incluindo o ex-General do Exército dos EUA Paul Nakasone, que comandou o U.S. Cyber Command. A saída de Altman do painel de segurança no ano passado foi interpretada como um movimento para conferir maior independência ao grupo.
“Temos a capacidade de fazer coisas como solicitar atrasos no lançamento de modelos até que certas mitigações sejam atendidas.”
Kolter optou por não comentar se o painel de segurança já precisou intervir ou mitigar um lançamento, citando a confidencialidade de seus procedimentos.
Preocupações Futuras em Segurança de IA
Kolter antecipa uma variedade de preocupações relacionadas a agentes de IA nos próximos meses e anos. Estas incluem:
- Cibersegurança: A possibilidade de um agente de IA extrair dados acidentalmente de textos maliciosos na internet.
- Pesos de modelos de IA: Questões de segurança em torno dos valores numéricos que determinam o desempenho de um sistema de IA.
- Novos riscos emergentes: Tópicos específicos para essa nova classe de modelos de IA, sem análogos diretos na segurança tradicional. A capacidade de usuários mal-intencionados projetarem armas biológicas ou realizarem ataques cibernéticos sofisticados.
- Impacto no bem-estar humano: Os efeitos dos modelos de IA na saúde mental das pessoas e as consequências de suas interações com esses sistemas.
Casos Recentes e Críticas
A OpenAI já enfrentou críticas este ano devido ao comportamento de seu chatbot principal. Um exemplo notório é um processo movido pelos pais de um adolescente na Califórnia, que se suicidou em abril após longas interações com o ChatGPT.
Os Primórdios da IA e Kolter
Kolter, diretor do departamento de aprendizado de máquina da Carnegie Mellon, iniciou seus estudos em IA na Georgetown University no início dos anos 2000, muito antes de se tornar uma tendência. Naquela época, o campo era considerado esotérico e de nicho, e o termo “aprendizado de máquina” era preferido a “IA”, pois a última tinha um histórico de promessas não cumpridas.
Kolter, aos 42 anos, acompanha a OpenAI há anos e mantém um relacionamento próximo com seus fundadores, a ponto de ter participado de sua festa de lançamento em uma conferência de IA em 2015. Ainda assim, ele admite não ter antecipado a velocidade com que a IA avançaria.
“Acho que muito poucas pessoas, mesmo aquelas que trabalham profundamente em aprendizado de máquina, realmente previram o estado atual em que nos encontramos, a explosão de capacidades, a explosão de riscos que estão emergindo no momento.”
Perspectivas Externas sobre a OpenAI
Defensores da segurança de IA acompanharão de perto a reestruturação da OpenAI e o trabalho de Kolter. Nathan Calvin, conselheiro geral da organização de políticas de IA Encode, expressa um otimismo cauteloso, especialmente se o grupo de Kolter puder “realmente contratar pessoal e desempenhar um papel robusto”.
Calvin elogia a formação de Kolter para a função, considerando-o uma boa escolha. Ele enfatiza a importância de a OpenAI permanecer fiel à sua missão original.
“Alguns desses compromissos podem ser um grande negócio se os membros do conselho os levarem a sério. Eles também podem ser apenas palavras no papel e bastante divorciados de qualquer coisa que realmente aconteça. Acho que ainda não sabemos qual dos dois somos.”