Quando o erro migra para o código, a responsabilidade exige o "Humano no Comando"

Introdução: A Crise Silenciosa e a Nova Estratégia

Na intersecção entre a disrupção tecnológica e a salvaguarda das garantias de direitos, o mercado e o setor público enfrentam uma crise silenciosa. Quando o erro migra da falha humana para o código computacional, a responsabilidade civil, administrativa e penal abandona o prontuário tradicional e se instala na trilha de auditoria. Neste cenário, onde o postulado é incontornável – a anomalia do código fere o indivíduo, mas é a pessoa jurídica quem suporta a sanção –, a mera conformidade burocrática deixou de ser suficiente. 

É aqui que emerge uma função estratégica indispensável para o futuro das organizações: o Arquiteto da Legitimidade. Este profissional não é um mero validador técnico ou um analista de compliance. Trata-se do estrategista visionário capaz de atuar como a ponte definitiva entre a engenharia de dados e a diretoria jurídica. Sua missão é traduzir as exigências constitucionais e normativas em requisitos lógicos de sistema, garantindo a “Lei dentro do Código”. 

Mas como, na prática, as corporações e os governos podem erguer essa Arquitetura da Legitimidade antes que a próxima falha de software se transforme na próxima grande crise institucional? A resposta exige dissecar as camadas de responsabilidade e o impacto invisível da Inteligência Artificial. 

Desenvolvimento: O Mapeamento do Risco e da Legislação

I. A Graduação do Impacto: Do Físico ao Institucional

A implementação de Inteligência Artificial em serviços essenciais não admite margem para testes em produção sem salvaguardas. O impacto de uma pane, falha ou viés sistêmico classifica-se em três graus críticos:

No debate contemporâneo sobre sistemas autônomos e preditivos, a pergunta central nos tribunais e conselhos de administração deixa de ser “quem errou?” e passa a ser imperativamente: “quem auditou o algoritmo?”. A tese é inegociável: a disfunção algorítmica materializa-se em dano ao indivíduo e converte-se, inexoravelmente, em passivo jurídico e reputacional para a instituição.

II. O Falso Vácuo Legislativo: A Eficácia do Arcabouço Normativo Vigente

É um equívoco hermenêutico e um risco corporativo gravíssimo aguardar a promulgação de legislações específicas sobre Inteligência Artificial para iniciar a mitigação de passivos. Quando o código erra e gera danos, os tribunais não declaram ausência de lei; eles aplicam o arsenal jurídico existente, que já possui força coercitiva total para responsabilizar os entes públicos e privados.

• Código de Defesa do Consumidor (CDC) – Art. 12 (O Defeito de Concepção): Consagra a responsabilidade civil objetiva do fabricante e fornecedor. Se um algoritmo de saúde emite uma diretriz equivocada que gera lesão, isso é um defeito de concepção, e a cadeia de fornecimento responde solidariamente. 

• Código Civil (CC) – Art. 927, Parágrafo Único (A Atividade de Risco): Determina a obrigação de reparar o dano, independentemente de culpa, em atividades de risco. A adoção de IA preditiva (ex: concessão de crédito, segurança pública) constitui atividade de risco inerente, transferindo o ônus financeiro da falha para o operador. 

• Lei Geral de Proteção de Dados (LGPD) – Art. 20 (O “Humano no Comando”): Estabelece o direito à revisão de decisões automatizadas. A negativa de uma revisão humana qualificada já configura violação autônoma à lei, sujeitando a entidade a multas milionárias. 

III. A Evolução do Ecossistema Normativo: O Papel dos Novos Projetos de Lei

Se o Código Civil, o CDC e a LGPD já garantem a reparação do dano e a revisão, qual é a necessidade do Marco Legal da IA (PL 2338/2023) e do PL 21/2020?

A resposta reside na transição do modelo reativo (que pune o erro após o corpo sangrar) para o modelo preventivo e estrutural (que exige a arquitetura da legitimidade antes do código rodar). Os novos projetos de lei não substituem as normas atuais; eles preenchem lacunas operacionais, ampliando o poder do ecossistema normativo.

1. Das Lacunas Reativas para a Governança Ex-Ante

Enquanto o Art. 927 do CC pune a atividade de risco após o dano, o PL 2338/2023 cria um regime de governança ex-ante (prévio). Ele classifica o que é um sistema de “Alto Risco” (ex: biometria, moderação de conteúdo, saúde, segurança) e proíbe sistemas de “Risco Inaceitável”. A grande lacuna preenchida é a exigência da Avaliação de Impacto Algorítmico (AIA) e, no setor público, a AIDF (Avaliação de Impacto de Direitos Fundamentais), obrigando o agente a mapear e mitigar o risco antes de colocar o sistema em produção.

2. A Divisão Cirúrgica da Responsabilidade (PL 21/2020) 

Atualmente, quando uma IA complexa falha, há uma zona cinzenta de litígio entre quem criou o algoritmo (desenvolvedor) e quem o treinou/utilizou na ponta (operador). O PL 21/2020 visa regular exatamente essa cadeia de responsabilidade civil, estabelecendo de forma cristalina as obrigações de cada ator na cadeia produtiva da IA, limitando as excludentes de ilicitude e forçando o mercado a adotar seguros de responsabilidade civil específicos para riscos cibernéticos.

3. Trilhas de Auditoria e Transparência Compulsória 

As leis atuais exigem que sistemas sejam seguros, mas não detalham como provar essa segurança. Os novos PLsespecializam essa regra, exigindo logs imutáveis, transparência sobre os dados de treinamento e rastreabilidade das decisões. É a materialização da “Lei dentro do código”.

IV. As Quatro Camadas de Responsabilidade: A Matriz de Accountability Algorítmica

A complexidade inerente aos sistemas de Inteligência Artificial gera um fenômeno perigoso nas organizações e governos: a diluição da responsabilidade. Quando ocorre um erro sistêmico, a tendência natural é culpar a opacidade da máquina — o chamado efeito “caixa-preta”. É justamente para combater essa fuga de responsabilização que o mapeamento estratificado atua como um instrumento vital.

Esta matriz de responsabilidade não é apenas uma divisão de tarefas; é a própria espinha dorsal da Arquitetura da Legitimidade. A sua importância reside em restabelecer o nexo de causalidade: se o código falha, é preciso identificar cirurgicamente em qual nó da cadeia de valor houve a ruptura do dever de cuidado. A grande preocupação contemporânea é o “apagão de accountability”, onde a inovação é utilizada como escudo para a violação de garantias de direitos. O impacto esperado da adoção destas quatro frentes é a blindagem institucional e a garantia de que a inovação tecnológica opere com segurança e validade jurídica.

Abaixo, o aprofundamento técnico e estratégico de cada camada:

1. O Arquiteto (Desenvolvedor): A Gênese do Risco 

A responsabilidade nasce na engenharia. O desenvolvedor detém o controle sobre os dados de treinamento e a lógica do algoritmo. A omissão na implementação do Security and Safety by Design e a entrega de sistemas fechados (“caixa-preta”) sem uma prévia Avaliação de Impacto Algorítmico (AIA) não são meras falhas contratuais; configuram vício direto do produto. O impacto esperado desta responsabilização é forçar a indústria a abandonar a lógica de “lançar primeiro, corrigir depois”, exigindo que a mitigação de vieses e a auditabilidade sejam nativas do código. A empresa que desenvolve a tecnologia responde pela arquitetura falha que exporta para o mercado.

2. O Comandante (Operador/Empresa): A Decisão e o Risco de Implementação 

A aquisição de uma IA de alto risco não transfere o passivo jurídico para o fornecedor. A alta gestão (o Comandante) que internaliza a tecnologia atrai para si a responsabilidade pela operação. A mera compra exige uma rigorosa Due Diligence Algorítmica, mapeando como a máquina decidirá em nome da organização. Delegar o poder de decisão a um sistema preditivo ou autônomo sem estruturar protocolos de treinamento, validação de resultados e mecanismos de veto evidencia negligência sistêmica e falha na governança corporativa. O impacto desta camada é obrigar Conselhos e Diretorias a assumirem que a tecnologia é, antes de tudo, uma decisão de gestão de risco.

3. O Legislador/Regulador (Estado): O Garantidor das Regras do Jogo 

O Estado atua em dupla via: como maior comprador de IA e como regulador. A institucionalização da avaliação de políticas públicas emerge, aqui, como ferramenta inegociável de gestão moderna. Implementar tecnologias de vigilância, biometria ou triagem social sem aferir previamente o impacto sobre as garantias de direitos é um erro crasso. Ignorar o impacto algorítmico é convidar a nulidade do ato administrativo, sujeitando a administração a Ações Civis Públicas e desgastes institucionais irreparáveis. O impacto exigido nesta camada é a transição de um Estado reativo para um Estado avaliador, que exige a “Lei dentro do Código” como premissa para qualquer contratação tecnológica.

4. O Soldado na Ponta (Profissional): A Última Barreira Crítica 

A tecnologia aumenta a capacidade do operador humano, mas não o substitui como decisor ético e legal. Do médico diante de um diagnóstico sugerido por rede neural ao operador de segurança pública interpretando um alerta de reconhecimento facial, a exigência de discernimento permanece. A preocupação central nesta camada é o “viés de automação” – a tendência do cérebro humano de aceitar a resposta da máquina de forma acrítica. O excesso de confiança na predição algorítmica, sem o devido questionamento ou verificação dos parâmetros, configura imperícia. O impacto dessa responsabilização é manter o “Humano no Comando” como a última e mais importante salvaguarda contra o erro da máquina, assegurando que o profissional não se torne um mero despachante de comandos automatizados.

Conclusão: O Veredito Estratégico e a Arquitetura da Legitimidade

A tecnologia subjacente à saúde avançada, ao varejo preditivo e à segurança pública é, em essência, a mesma. O que altera é o risco e o bem jurídico tutelado. Neste cenário, os novos Projetos de Lei não estão sendo redigidos para criar uma responsabilidade civil que não existe, mas sim para fornecer um manual de instrução técnico-jurídico sobre como operar sistemas de alto risco sem violar as garantias de direitos já postas.

Para a organização contemporânea, o alerta é claro: aguardar a aprovação do Marco da IA para iniciar a governança é assumir um risco extremo sob a ótica severa do Código Civil e do CDC. É exatamente neste interstício que a atuação do Arquiteto da Legitimidade se faz urgente. Sua missão vai muito além de interpretar a lei que pune o dano passado; trata-se de desenhar a arquitetura algorítmica que garantirá a conformidade, a inovação e a sustentabilidade no futuro. A verdadeira “Lei dentro do Código” traduz essas exigências legais em requisitos de sistema, como logs imutáveis e mecanismos compulsórios de revisão.

Para C-Levels e Diretores Jurídicos, a ação exige imediatismo: mapeie e audite todo o portfólio de IA, institua a figura formal do “Supervisor Humano” e invista de forma prioritária na Avaliação de Impacto de Direitos Fundamentais (AIDF).

Quem implementa a Governança Algorítmica primeiro não contabiliza despesas com compliance, mas consolida investimentos robustos em proteção patrimonial e reputacional. Quem opta pela inércia, inevitavelmente, pagará a conta nas cortes. E a conta gerada pelo código, sem supervisão, é sempre a mais cara.

Sobre o Autor

Antonio Luis dos Santos Filho é Coronel Veterano do Exército Brasileiro. Possui graduação em Direito (UFC) e Ciências Militares (AMAN). É especialista em Gestão na Administração Pública. Mestre em Direito Constitucional pela UNIFOR e Mestre em Avaliação de Políticas Públicas pela Universidade Federal do Ceará (2024). 

Siga no Instagram: @antonioluissfi

Links para aquisição da obra – Avaliação do “Vídeo-Polícia: Expansão”: A utilização do reconhecimento facial na segurança pública da Bahia:

(Físico Nacional) | (E-Book Nacional) | (Compra Internacional)

Compartilhe: