Por: Daniela Copetti Cravo,

Procuradora do Município de Porto Alegre. Doutora e Mestre em Direito pela UFRGS. Pós-Doutorado no Departamento de Direito Público e Filosofia do Direito da Faculdade de Direito da UFRGS (2019 – 2020). Encarregada pela Proteção de Dados Pessoais na PGM/POA. Professora em cursos de graduação, pós-graduação e de capacitação profissional,

Eduardo Jobim

Doutor em Direito pela UFRGS e Mestre em Direito Econômico, Financeiro e Tributário pela USP. Pós-Doutorando no Departamento de Direito Público e Filosofia do Direito da Faculdade de Direito da UFRGS. Professor em cursos de graduação e pós-graduação. Pesquisador da ABES.  Publicado pelo Jota.
No contexto do setor público, mergulhar nos avanços da inteligência artificial (IA) não é apenas uma opção, mas sim uma necessidade premente. É como se recusar a abraçar uma ferramenta que pode impulsionar a eficiência e enxugar os custos fosse dar um passo para trás na gestão pública. Contudo, o caminho para a adoção dessas inovações está longe de ser uma estrada tranquila.

Embora o cenário tecnológico apresente seus próprios obstáculos para todos os setores, no âmbito público, essas barreiras se tornam ainda mais intrincadas. Entidades governamentais enfrentam desafios específicos, como restrições orçamentárias, tomadas de decisão complexas e obrigações regulatórias e de conformidade estabelecidas pelo arcabouço jurídico do Direito Público. Paralelamente, têm o compromisso de atender às demandas da sociedade, salvaguardar direitos fundamentais e assegurar o bem-estar daqueles a quem servem.

Por exemplo, mesmo a mais simples aquisição de bens e serviços pelo Estado requer procedimentos específicos, incluindo, como regra, licitações competitivas e adesão estrita a estruturas legais e de conformidade. Além disso, as entidades públicas são chamadas a cumprir obrigações adicionais de transparência e justiça, tornando a gestão ainda mais desafiadora.

Num contexto como este, uma gestão responsável e íntegra, que previna riscos e corrija desvios, torna-se essencial. Para tanto, é imprescindível considerar três pilares essenciais: (i) riscos relacionados aos dados; (ii) licitações e contratos administrativos; e (iii) transparência, explicabilidade e equidade na aplicação de IA no setor público[1].

(i) Riscos relacionados aos dados

No dinâmico cenário da IA, o imperativo de conformidade com regulamentações de dados pessoais emerge como um pilar fundamental para uma inovação ética e responsável. As regulamentações de proteção de dados surgem como um guia em muitos países, moldando uma narrativa que prioriza princípios como limitação de finalidade, minimização de dados, proporcionalidade e transparência.

No campo dos modelos de Machine Learning (ML), a qualidade dos dados é fundamental para garantir a eficácia desses modelos. A usabilidade dos dados para algoritmos de ML está intimamente ligada à compreensão das fontes de dados e ao reconhecimento de possíveis vieses na coleta, medição e transformação dos mesmos.

A representatividade dos dados também é essencial. Problemas podem surgir quando características significativas para o desenvolvimento do modelo são sub-representadas devido a vieses ou amostragem inadequada. Isso pode levar a um desempenho fraco tanto no desenvolvimento quanto na produção.

Na Holanda, a implementação de algoritmos para criar perfis de risco visando identificar fraudes em benefícios de assistência à infância causou danos irreparáveis a famílias erroneamente identificadas como suspeitas de fraude. O sistema, treinado e alimentado por dados enviesados, produziu resultados discriminatórios, imprecisos e injustos, afetando desproporcionalmente minorias e famílias financeiramente vulneráveis. Além disso, essas ações revelaram graves violações das normas do RGPD, incluindo a ausência de uma base legal para o processamento de dados, imprecisões nos dados pessoais e comprometimento da segurança da lista[2].

(ii) Licitações e contratos administrativos

O setor público enfrenta desafios maiores na digitalização e adoção de tecnologia em comparação com o setor privado devido a rigorosas restrições regulatórias, especialmente em licitações e contratações administrativas[3]. Isso leva a ciclos de aquisição prolongados, priorização do custo sobre a qualidade e dificuldades de acesso a startups inovadoras[4]. Superar essas lacunas requer simplificação dos arcabouços regulatórios, estímulo à colaboração com startups e criação de um ambiente de aquisições mais ágil para promover inovação e resultados eficazes.

A assimetria de informações entre os proprietários/desenvolvedores de produtos tecnológicos e as organizações governamentais pode resultar em soluções tecnológicas subótimas. Depender de consultores externos ou de tecnologias prontas para uso aumenta o risco de implementar soluções complexas sem um entendimento completo, potencialmente resultando em custos elevados. Ainda, o perigo de adotar a tecnologia pelo seu apelo superficial em vez de uma verdadeira adição de valor torna-se um risco a ser evitado[5].

Ao implementar tecnologia no setor público, é também essencial considerar cuidadosamente fatores como aprisionamento (lock-in) ao fornecedor e titularidade de dados para evitar possíveis armadilhas. Além disso, manter a soberania digital e de dados é essencial para operações de TI economicamente viáveis, tecnicamente adequadas e legais, permitindo o uso e reuso contínuos de ativos em todas as organizações do setor público[6].

(iii) Transparência, explicabilidade e equidade na aplicação de IA no setor público

As decisões tomadas por modelos de IA devem ser justificáveis e compreensíveis para o público[7]. O nível de transparência e equidade necessário deve ser claramente definido desde a concepção. Na aquisição pública, os fornecedores devem fornecer registros elucidativos de decisões cruciais, garantindo transparência sem necessariamente violar segredos comerciais[8].

Assegurar responsabilidade na tomada de decisões de IA é indispensável, avaliando conformidade e identificando responsabilidade durante falhas do sistema, especialmente com envolvimento de terceiros.  Recomenda-se também o estabelecimento de um fórum interno para especialistas técnicos revisarem e questionarem o desenvolvimento e funcionamento da IA.

A avaliação do uso de IA pelos agentes públicos requer uma análise da sua capacidade de divergir dos conselhos algorítmicos, o que desempenha um papel fundamental na abordagem do viés de automação. Isso é evidente no caso do algoritmo VioGén na Espanha, onde os erros não decorreram apenas de falhas críticas e falsos negativos, mas também da adesão inquestionável da polícia às previsões algorítmicas[9].

Em suma, o segredo para desbloquear todo o potencial da inteligência artificial (IA) no setor público reside em um compromisso inabalável com a transparência, a responsabilidade e a equidade. Uma gestão eficaz dessas tecnologias não é apenas uma questão de adotá-las, mas sim de abraçá-las integralmente desde estudos técnicos até a implementação e operação, incluindo monitoramento constante, orientação adequada e controle rigoroso.

[1] HAGENDORFF, Thilo. The Ethics of AI Ethics: An Evaluation of Guidelines. Minds & Machines, n. 30, pp. 99-120, 2020.

[2] https://autoriteitpersoonsgegevens.nl/actueel/boete-belastingdienst-voor-zwarte-lijst-fsv

[3] Moe, Carl; Päivärinta, Tero. Challenges in information Systems Procurement in the Public Sector. Electronic Journal of e-Government, v. 11, n. 2, 2013. pp. 308-323.

[4] OECD. Digital Transformation Projects in Greece’s Public Sector: Governance, Procurement and Implementation. https://www.oecd-ilibrary.org/sites/78c880fb-en/index.html?itemId=/content/component/78c880fb-en#chapter-d1e5589.

[5] Supreme Audit Institutions of Finland, Germany, the Netherlands, Norway and the UK. Auditing machine learning algorithms: A white paper for public auditors, 2023.

[6] LUNDELL, Björn et al. Perceived and actual lock-in effects amongst Swedish public sector organizations when using a Saas solution. In: Electronic Government: 20th IFIP WG 8.5 International Conference, EGOV 2021, Granada, Spain, September 7–9, 2021, Proceedings 20. Springer, 2021. pp. 59-72; COGLIANESE, Cary; LEHR, David. Transparency and algorithmic governance. Administrative Law Review. v. 71, n. 1, pp. 1-56, 2019.

[7] DIGNUM, Virginia. Responsibility and artificial intelligence. The Oxford handbook of Ethics of AI. Oxford: Oxford University Press, 2020. p. 215

[8] BRAUNEIS, Robert; GOODMAN, Ellen Algorithmic Transparency for the Smart City. Yale Journal of Law & Tech. v. 20, 2018. p. 103.

[9] European Commission, Directorate-General for Justice and Consumers. XENIDIS, Raphaële et al. Algorithmic discrimination in Europe: Challenges and opportunities for gender equality and non-discrimination law. Publications Office, 2021.