O levantamento do Centro de Estudos de Segurança e Cidadania (CESeC), da Universidade Cândido Mendes, mapeou, entre 2019 e abril de 2025, vinte e quatro casos documentados de falha de sistemas de reconhecimento facial em operações policiais brasileiras, e levantamento da Rede de Observatórios da Segurança de 2019 já indicava que 90,5% das pessoas presas a partir desses sistemas naquele ano eram negras. Um estudo independente da Unesp publicado em 2025, avaliando sistema contratado por escolas públicas do Paraná pra controle de frequência, apurou taxa média de acerto de 91,1%, abaixo do piso de 95% previsto em contrato, enquanto pesquisas internacionais consolidadas pelo NIST continuam registrando taxas de erro de dez a cem vezes maiores pra pessoas negras, indígenas e asiáticas em comparação com pessoas brancas nos mesmos modelos. Pra mim, esses números não descrevem falha pontual de fornecedor nem erro de calibração corrigível por atualização de modelo, mas um comportamento estrutural que se repete com causas estáveis, o que permite tratar o viés algorítmico como propriedade previsível do sistema.
O mecanismo pelo qual esses sistemas reproduzem desigualdade segue um encadeamento direto. Um modelo de aprendizado supervisionado ajusta pesos pra minimizar erro sobre um conjunto de dados de treinamento, e a distribuição desse conjunto se torna o território onde o modelo opera com precisão. Quando o conjunto sub-representa um grupo demográfico, a função de perda atribui peso proporcionalmente menor aos erros cometidos sobre esse grupo, e o modelo converge pra um ponto ótimo em que a precisão agregada é alta e a precisão específica do grupo sub-representado é baixa. O efeito se compõe com a qualidade da captura, até porque sensores ópticos e iluminação, somados aos algoritmos de pré-processamento, foram historicamente calibrados pra peles claras, e a degradação de precisão sobre peles escuras aparece tanto no dado de entrada quanto no modelo que o consome.
A mesma lógica, transposta pra decisões de crédito, reproduz o padrão em outro domínio. Modelos de score aprendem sobre histórico de concessão, e esse histórico carrega a decisão humana anterior, que em mercados como o brasileiro foi documentada, inclusive em material consolidado por instituições como BID e Sebrae sobre microempreendedores afrodescendentes, como sensível à raça do tomador. O modelo que aprende sobre esse histórico herda a discriminação prévia e passa a aplicá-la em escala com aparência de objetividade, o que dificulta a contestação porque o resultado é apresentado como consequência técnica de um cálculo neutro. A neutralidade aparente se sustenta até que alguém pergunte qual distribuição de resultados o modelo produz por grupo, e nesse ponto o padrão herdado reaparece quase intacto.
Na minha análise, o trade-off que organiza essas decisões raramente é explicitado. Um modelo pode ser ajustado pra equalizar taxa de falsos positivos entre grupos, pra equalizar falsos negativos, pra equalizar valor preditivo positivo ou pra maximizar precisão agregada, e essas metas são matematicamente incompatíveis entre si na presença de taxas base diferentes entre grupos, o que é demonstrado por resultados formais sobre métricas de fairness. A escolha de qual métrica otimizar é uma decisão política travestida de decisão técnica, e quando essa escolha é delegada implicitamente ao time de engenharia sem definição externa, o que se observa é a escolha pela precisão agregada, que é a que produz o melhor número em relatório e a pior distribuição sobre grupos minoritários. O custo dessa escolha é absorvido pelas pessoas erroneamente classificadas, que em geral não têm canal estruturado pra contestar a decisão nem acesso à lógica que a produziu.
O ângulo regulatório brasileiro ainda opera com lacuna significativa. A LGPD estabelece, no artigo 20, o direito à revisão de decisões automatizadas, mas não exige revisão por pessoa humana de forma categórica desde o veto e posterior ajuste do texto, e o Projeto de Lei 2338/2023, que estrutura um marco mais amplo de inteligência artificial, foi aprovado pelo Senado em dezembro de 2024 e aguarda votação na Câmara sem produzir, até o momento, obrigação vinculante sobre auditoria algorítmica nos setores em que esses sistemas já operam. O efeito composto é que o custo de implantar um sistema enviesado permanece baixo pra quem implanta, enquanto o custo de ser classificado por um sistema enviesado permanece concentrado sobre as mesmas populações que a desigualdade histórica já onerava, o que reproduz a assimetria que discuti em acessibilidade web como direito.
A consequência prática, na minha avaliação, é que o viés algorítmico só se corrige quando a escolha de métrica de fairness sai do time técnico e entra no contrato, porque a auditoria externa sobre distribuição de erro por grupo passa a ser condição de operação e a pessoa classificada ganha direito efetivo de revisão sobre decisões que afetam sua vida concreta. Enquanto essa distribuição de responsabilidade permanecer implícita, o sistema continuará reproduzindo a desigualdade que herda, com a diferença de fazê-lo mais rápido e em escala maior, sob a justificativa técnica de que estaria apenas aprendendo com os dados que recebeu.