• Eugênio V. Garcia

Precisamos falar sobre as armas autônomas e o direito internacional

Cada vez mais se reconhece que o impacto de longo prazo da inteligência artificial (IA) poderá ser sem precedentes na economia e na sociedade. Nas relações internacionais, como em tantas outras áreas, não será diferente. Existe hoje uma intensa competição pela supremacia tecnológica global. Fortes incentivos econômicos de curto prazo estimulam avanços para uso civil, enquanto projetos de defesa desenvolvidos pelas potências militares buscam assegurar uma vantagem estratégica. Juristas e internacionalistas precisam estar atentos para essa discussão sobre que tipo de governança desejamos para uma IA responsável e segura, em benefício da humanidade.


Fonte da Imagem: International Committe of the Red Cross


Os riscos de uma corrida armamentista


Diante da acelerada militarização da IA, teme-se que uma corrida armamentista leve governos e empresas privadas a negligenciar critérios de segurança para atingir resultados mais rápidos e superar seus rivais. Sistemas de armas autônomas letais, também chamados de “robôs assassinos”, poderiam em tese executar missões de forma independente, selecionar alvos e usar a força sem intervenção humana. As máquinas, argumenta-se, seriam mais velozes e precisas, não teriam emoção, medo ou fadiga, nem desejo de vingança, ao contrário dos combatentes humanos. Prometem ganhos em eficiência, redução de custos e superioridade tática, operando em áreas inóspitas e realizando missões perigosas demais para soldados, potencialmente diminuindo as baixas entre as tropas.


Não obstante, os riscos são graves e perturbadores. Sem qualquer forma de controle, armas sofisticadas equipadas com IA, totalmente autônomas, seriam uma ameaça à estabilidade estratégica. Poderiam aumentar a incerteza devido à sua falta de flexibilidade quando confrontadas com mudanças nas circunstâncias. São inúmeros os dilemas éticos e legais que podem surgir. Em um cenário de proliferação indiscriminada, essas armas podem cair em mãos hostis, atores não estatais e extremistas. As máquinas podem apresentar defeitos técnicos (mau funcionamento, falhas ou erros de programação) ou sofrerem ataques cibernéticos de adversários, com consequências imprevisíveis, inclusive “fogo amigo”. Sua velocidade surpreendente pode provocar escaladas no conflito ou confrontos indesejados em caso de alarmes falsos ou acidentes.


Há muitas questões ainda sem resposta. O que um software de autoaprendizagem poderia fazer no campo de batalha se deixado por sua própria conta? Perderemos no futuro o controle humano sobre o uso da força? Desumanizar a guerra pode banalizar a violência e aumentar a probabilidade de recurso a meios militares para resolver disputas, em detrimento da negociação e da diplomacia.


Visão do DIH


Os princípios do direito internacional humanitário (DIH) ajudam a contextualizar os termos do problema. No seu cerne está a noção de que em todo conflito armado o direito das partes a escolherem os métodos ou meios de combate “não é ilimitado”, conforme o artigo 35 do Protocolo I à Convenção de Genebra de 1949, relativo à proteção das vítimas dos conflitos armados internacionais. É igualmente proibido pelo DIH o emprego de armas, projéteis, materiais e métodos de combate de tal índole que causem “males supérfluos ou sofrimentos desnecessários”.


Há sérias dúvidas quanto à capacidade das armas autônomas de cumprirem com os requisitos do DIH: não seriam capazes de distinguir entre combatentes e civis em situações reais de guerra (princípio da distinção); não conseguiriam entender o contexto para avaliar se uma ação militar é proporcional ou não (princípio da proporcionalidade); e não poderiam decidir por si mesmas o que é de fato necessário em termos militares, visto que essa avaliação exige um julgamento político que compete somente aos humanos (princípio da necessidade). Do mesmo modo, os direitos humanos são extremamente importantes, em particular o direito à vida: um algoritmo sozinho nunca deve tomar decisões de vida ou morte afetando pessoas.


Os Estados têm discutido essas questões no âmbito da Convenção das Nações Unidas sobre Certas Armas Convencionais (CCAC) desde 2014. Um Grupo de Especialistas Governamentais (GGE, na sigla em inglês) se reuniu pela primeira vez em 2017, em Genebra. Suas recomendações são decididas por consenso e o progresso tem sido lento até o momento. O assunto é sensível e controverso. Persistem divergências quanto a definições, metodologia e o escopo das negociações, entre outras “linhas vermelhas”. Os Estados concordam que, embora reconhecendo sua natureza dual, o desenvolvimento nas aplicações civis da indústria de IA não deve ser prejudicado. Mas não há uma visão comum sobre quais restrições deveriam ou não serem impostas. A maioria dos países apoia a necessidade de um controle humano significativo nas funções críticas dessas armas, como no ato de selecionar e atacar alvos. Outros países são a favor de seu banimento preventivo, antes que sejam fabricadas e postas em ação.

Algumas potências militares defendem que o atual arcabouço de regras humanitárias já seria suficiente para regular eventual uso de armas autônomas, posição que diversos autores contestam ao apontar lacunas importantes que impediriam, por exemplo, a responsabilização de comandantes militares ou dos Estados que incorram em violações de DIH. Nessa discussão do GGE, o imperativo ético vem ganhando força como um dos principais pontos trazidos das convenções do DIH para sustentar a centralidade do elemento humano. Seria antiético e, no limite, ilegal, permitir que um robô possa decidir por si mesmo como usar a força letal. Por isso, a noção de que as máquinas poderiam seguir parâmetros éticos com mais eficácia do que um ser humano deve ser vista como moralmente equivocada, pois entidades inanimadas não podem ser responsabilizadas por suas ações e não lhes cabe tomar decisões dessa natureza.


Posição do Brasil


Como o maior país da América Latina e Caribe, com uma longa tradição de envolvimento diplomático em foros de desarmamento, o Brasil tem participado do GGE desde o início. Tem defendido a negociação de um instrumento legalmente vinculante, por meio de um Protocolo da CCAC, para garantir o controle humano significativo sobre as funções críticas desses sistemas de armas. Tal normativa jurídica é considerada essencial para assegurar que armamentos “inteligentes” sejam utilizados ​​de maneira ética e respeitando o DIH, incluindo a Cláusula Martens, que consagra o interesse superior dos “princípios da humanidade e dos ditames da consciência pública”.


Além disso, um marco regulatório internacional, negociado e aceito pelos Estados, aumentaria a segurança de todos ao reforçar a previsibilidade e orientar o desenvolvimento e eventual uso dessas armas à luz de obrigações livremente consentidas. Ampliar as áreas de convergência, neste estágio, ajudaria a reafirmar a centralidade do elemento humano com relação à crescente autonomização dos dispositivos militares. Isso significa, na visão brasileira, que deve haver sempre um ser humano no circuito, com a prerrogativa de julgar o contexto das operações e, quando necessário, tomar decisões que jamais devem ser delegadas às máquinas. Inclui também a responsabilidade de quem decide, ou seja, o comandante (e não um sistema de IA) será o responsável por violações do DIH durante ações militares sob sua supervisão.


Existem medidas nacionais de implementação, como o exame jurídico de novas armas, com base no artigo 36 do Protocolo I da Convenção de Genebra. O Brasil entende que essas medidas são úteis, mas não suficientes. Não se pode deixar questão de tal gravidade exclusivamente à análise discricionária dos Estados, sobretudo se sua aplicação ocorre sob um manto de confidencialidade, sem possibilidade de verificação.

Em fevereiro de 2020, o governo brasileiro organizou um Seminário no Rio de Janeiro para reunir múltiplas partes interessadas, com o objetivo de intercambiar pontos de vista em um ambiente informal, como iniciativa de apoio às deliberações do GGE. Os painéis foram focados na interação homem-máquina e controle humano; direito internacional, incluindo o DIH; e dimensões estratégicas e militares das armas autônomas (tecnologia disruptiva como um divisor de águas).


No entendimento brasileiro, um novo Protocolo da CCAC estabeleceria um equilíbrio entre as necessidades de defesa e as preocupações humanitárias, no espírito das Convenções de Genebra. Em resposta a um pedido de comentários do presidente do GGE, a delegação do Brasil submeteu em agosto de 2020, além de um documento de trabalho sobre definições conceituais, um roteiro sobre como operacionalizar os princípios orientadores aprovados pelas Altas Partes Contratantes da CCAC em 2019. Foi sugerido um mapa do caminho com quatro ações principais para aperfeiçoar a governança rumo à codificação de regras específicas do DIH:


1) interconectar regulamentos nacionais e internacionais e promover a cooperação, treinamento e intercâmbio para o desenvolvimento de legislações nacionais, políticas públicas, diretrizes e doutrinas, em conformidade com o direito internacional;

2) constituir uma rede internacional de juristas especializados no tema e ampliar o diálogo com outros foros das Nações Unidas;

3) organizar conferências sobre os padrões do DIH para o desenvolvimento da IA, envolvendo governos, indústria, comunidade científica e outras partes interessadas; e

4) promover uma agenda estratégica para as armas autônomas, incluindo uma rede de pontos focais de Ministérios das Relações Exteriores, Defesa, e Ciência e Tecnologia, a fim de disseminar boas práticas e políticas estabelecidas por estratégias de defesa nacional, livros brancos e outros documentos.


A implementação integrada desse roteiro, espera-se, geraria confiança por meio de abordagens convergentes e medidas de verificação, contribuindo assim para prevenir a proliferação ilegal e a aquisição de tais armas por grupos terroristas.


Juristas, sua participação é fundamental


O debate prossegue e outras reuniões do GGE terão lugar este ano para preparar as recomendações a serem submetidas à Conferência da CCAC no final de 2021. A massa crítica no Brasil, no entanto, está muito aquém do ideal, dadas as múltiplas implicações do tema para a paz e a segurança internacionais. Trata-se de uma área de ponta que apenas recentemente tem começado a gerar estudos de autores brasileiros, alguns com foco na área jurídica. É preciso mobilizar professores universitários, pesquisadores acadêmicos e estudantes de direito internacional.


Nosso dever é garantir que os benefícios da IA sejam disseminados de maneira adequada, evitando abusos sempre que possível, regulando se necessário, e estabelecendo os limites éticos que a consciência pública exige. Estaremos de fato seguros se algum dia sistemas de IA usarem força letal sem interferência humana? Mais do que nunca, a hora do engajamento é agora.

Eugênio V. Garcia

Diplomata, Doutor pela Universidade de Brasília, pesquisador em inteligência artificial (IA) e governança internacional. Designado como um dos especialistas brasileiros nas negociações sobre a Recomendação da UNESCO para a ética da IA.


[*] As opiniões aqui expressas são de exclusiva responsabilidade do autor.

294 visualizações0 comentário