X

Análise semântica latenteTécnica de processamento de textos que busca encontrar relações entre termos e documentos, a partir da ideia de que palavras de sentido próximo devem aparecer em contextos semelhantes.

APIInterface de Programação de Aplicações. Canal de comunicação automatizado entre sistemas, via rede.

CODEXFerramenta desenvolvida pelo CNJ para extração, indexação e centralização de informações (metadados e documentos) de todos os processos em tramitação nos tribunais usuários do PJe.

Aprendizado por esforço
Em inteligência artificial, é a estratégia de treinamento que utiliza a validação dos usuários como insumo para melhorar a qualidade das respostas dadas pelo modelo
Banco de dados não-relacionalTipo de banco de dados que não se baseia em relacionamentos entre tabelas rigidamente definidas, admitindo outros tipos de estruturas para o armazenamento de dados.

Aprendizado não supervisionado
Estratégia de treinamento de modelos de inteligência artificial que não depende de exemplos previamente classificados por humanos.

ETL
Do inglês Extract, Transform, Load. Refere-se a toda a parte necessária para retirar dados de um sistema e transformá-los e carrega-los para um sistema diferente.

PJEProcesso Judicial Eletrônico. Sistema de tramitação de processos judiciais desenvolvido pelo CNJ. Atualmente, em implantação em diversos tribunais.

Valor preditivo positivoMedida da qualidade de modelos que indica quantos dos casos classificados como “positivos” pelo modelo – por exemplo, positivos para a afetação por um tema repetitivo – concordam com a avaliação humana ou com uma classificação de referência.

Prova de conceitoEtapa antes da contratação de uma licença ou serviço de tecnologia da informação em que o contratante pode testar as funcionalidades do produto sem custo, nem compromisso.

MicrosserviçoEm informática, arquiteturas baseadas em microsserviços são estruturadas de forma que cada componente funcione de forma independente e se comunicando com os demais. Isso permite ganhar flexibilidade no desenvolvimento e manutenção de soluções para resolver problemas específicos, sem precisar alterar o código da aplicação inteira.

glossário
glossário

síntese

inteligência artificial para um sistema de justiça mais eficiente e seguro

resumo
O novo Código de Processo Civil criou instrumentos destinados a aumentar a segurança jurídica nas decisões judiciais. Um deles é o Incidente de Resolução de Demandas Repetitivas (IRDR). O objetivo do instrumento é uniformizar o entendimento dos tribunais brasileiros sobre questões repetitivas, reduzindo o número e a duração dos processos em andamento.
Apesar de sua importância, poucos tribunais têm feito uso do IRDR. Um dos principais desafios é a caracterização da efetiva repetição de processos que contenham controvérsia sobre a mesma questão de direito – requisito legal para a instauração do incidente.1
Há, contudo, soluções que usam modelos de aprendizado de máquina para identificar a similaridade entre ações em curso. Além disso, os rápidos avanços nas ferramentas de processamento de linguagem natural apontam para possíveis aplicações para o IRDR em uma escala antes impensável.
Um dos objetivos estratégicos do MPRJ é intensificar a atuação no sistema de precedentes. Pensando nisso, o Centro de Apoio Operacional das Procuradorias de Justiça (CAO Procuradorias) procurou o Laboratório de Inovação (Inova_MPRJ) para um trabalho em conjunto. Assim surgiu o projeto Síntese, focado no desenvolvimento ou contratação de uma solução digital para identificação de demandas repetitivas para a Instituição.
Na mesma época, a Atlas.IA, empresa de tecnologia para o sistema judicial, também contatou o Laboratório, interessada em demonstrar e desenvolver em parceria solução de identificação de similaridades em documentos.
A aquisição ou desenvolvimento conjunto de modelos de aprendizado de máquina, em parceria com a iniciativa privada, traz desafios e oportunidades que exigem novas soluções do ponto de vista das contratações públicas. Esses desafios vão desde os instrumentos que regem as contratações e parcerias até as alternativas para teste de performance das alternativas de mercado.
O contexto para a parceria também é promissor para a cooperação entre os órgãos que compõem o sistema de justiça. O compartilhamento de corpos de textos e de ferramentas significa uma oportunidade para ganho de eficiência na identificação de controvérsias repetitivas em diversas instituições.
1 Art. 976, inciso I, da Lei n. 13.105, de 16 de março de 2015.
Aprendizado não supervisionadoEstratégia de treinamento de modelos de inteligência artificial que não depende de exemplos previamente classificados por humanos.
resultados diretos
Aprendizado por reforçoEm inteligência artificial, é a estratégia de treinamento que utiliza a validação dos usuários como insumo para melhorar a qualidade das respostas dadas pelo modelo.
Prova de conceitoEtapa antes da contratação de uma licença ou serviço de tecnologia da informação em que o contratante pode testar as funcionalidades do produto sem custo, nem compromisso.
Prova de conceitoEtapa antes da contratação de uma licença ou serviço de tecnologia da informação em que o contratante pode testar as funcionalidades do produto sem custo, nem compromisso.
PJeProcesso Judicial Eletrônico. Sistema de tramitação de processos judiciais desenvolvido pelo CNJ. Atualmente, em implantação em diversos tribunais.
ETLDo inglês Extract, Transform, Load. Refere-se a toda a parte necessária para retirar dados de um sistema e transformá-los e carrega-los para um sistema diferente.
MicrosserviçosEm informática, arquiteturas baseadas em microsserviços são estruturadas de forma que cada componente funcione de forma independente e se comunicando com os demais. Isso permite ganhar flexibilidade no desenvolvimento e manutenção de soluções para resolver problemas específicos, sem precisar alterar o código da aplicação inteira.
Análise LatenteTécnica de processamento de textos que busca encontrar relações entre termos e documentos, a partir da ideia de que palavras de sentido próximo devem aparecer em contextos semelhantes.
APIInterface de Programação de Aplicações. Canal de comunicação automatizado entre sistemas, via rede.
Levantamento de requisitos funcionais para plataforma de identificação de questões de direito repetitivas e gestão de precedentes
A definição prévia dos requisitos funcionais é um dos passos mais decisivos no processo de aquisição ou desenvolvimento de um novo sistema ou funcionalidade. Nos termos da Resolução nº 102, de 23 de setembro de 2013, do Conselho Nacional do Ministério Público (CNMP), que regula a contratação de soluções de TI no âmbito do MP, é preciso identificar exatamente quais são as necessidades da área funcional para encontrar a estratégia que melhor se adequa à demanda.
Em atividade colaborativa com o CAO Procuradorias e outros parceiros internos, o Inova_MPRJ levantou quais necessidades e aspectos funcionais seriam importantes em um sistema de identificação de questões de direito repetitivas e gestão de precedentes. Mais do que gerar uma simples listagem, a atividade teve como objetivo priorizar necessidades e aspectos funcionais por importância. Os resultados estão descritos na tabela a seguir.

Requisitos de negócio mapeados

Tem que ter(aspectos imprescindíveis)
_Varredura para detecção automática de questões de direito repetitivas na base de processos do TJRJ;
_Visualização de questões de direito detectadas como repetitivas pela solução;
_Buscador para pesquisa ativa de possíveis temas repetitivos pelo usuário;
_Texto da fundamentação das decisões judiciais e link para a íntegra da peça processual ou decisão judicial;
_Consulta, filtro ou etiqueta para questões de direito repetitivas já julgadas ou afetadas por tribunais superiores;
_Estimativa do número de processos afetados por uma potencial questão de direito repetitiva;
_Interface gráfica amigável, de fácil compreensão e uso;
_Tutoriais, manual operacional ou outra forma de documentação de simples compreensão pelo usuário final.
Deveria ter(aspectos importantes)
_Envio de alarmes por e-mail quando detectada possível questão de direito repetitiva;
_Identificação de processos similares a partir do número TJRJ ou MPRJ de um processo;
_Identificação de precedentes a partir do número TJRJ ou MPRJ de um processo;
_Identificação automatizada de precedentes similares já admitidos em outros tribunais além do TJRJ;
_Filtro e consulta em outros tribunais além do TJRJ;
_Visão rápida de quais são os fundamentos citados de forma mais frequente para um tema;
_Sugestão de correção para erros de grafia nas operações de busca por precedentes e processos potencialmente afetados por questões repetitivas.
Poderia ter(aspectos desejáveis)
_Modelos de petições;
_Dicionário de sinônimos e antônimos;
_Reconhecimento de expressões latinas e estrangeirismos;
_Botão para sugerir demanda ao núcleo de gestão de precedentes do MPRJ;
_Sugerir a desafetação de processos com questões repetitivas já julgadas;
_Sugerir a afetação de processos com questões repetitivas já identificadas.
_Histórico de pesquisas;
_Sugestões de pesquisa baseadas no histórico;
_Filtros por origem (Câmara, Vara, Juizado Especial etc.);
_Possibilidade de avaliar a qualidade da sugestão;
_Autocompletar termos na busca;
_Geração automatizada de ementa da questão repetitiva;
_Ambiente para formatação da tese do IRDR;
_Lista de processos com movimentações recentes.
Seria legal, mas...(aspectos atualmente inviáveis)
Mapeamento de soluções para identificação de questões repetitivas
Por meio de pesquisa de mesa e de entrevistas com desenvolvedores de softwares públicos e privados, a equipe do Laboratório comparou soluções existentes em relação aos seus níveis de maturidade e às diferentes abordagens para resolução do desafio.
A tabela a seguir apresenta um breve comparativo das soluções pesquisadas. Para mais detalhes sobre as plataformas, veja a seção Reconhecimento de soluções existentes.
Minutas de documento de oficialização da demanda, edital de chamamento público para testes e doação e formulário de inscrições
O Inova_MPRJ elaborou uma série de minutas de documentos necessários aos testes, eventual doação, contratação ou desenvolvimento em parceria da solução. Esses documentos foram produzidos de acordo com a visão integrada de colaboração com parceiros privados proposta pelo Laboratório.
Confira a seção Elaboração da estratégia de parcerias, doação e contratação para mais detalhes sobre essa visão.

Documentos elaborados para apoiar a chamada pública e eventual contratação

documento
uso imaginado
_Subsidiar eventual contratação pelo MPRJ de solução voltada a atender aos requisitos de negócio previamente estabelecidos.
_Realizar o levantamento de soluções disponíveis no mercado voltadas aos requisitos de negócio definidos pelo MPRJ. Permitir o teste e eventual doação dessas soluções ao MPRJ.
_Complementar o Edital de Chamada Pública quanto às restrições de uso e compartilhamento dos dados cedidos pelo MPRJ e instituições parceiras no processo de teste de soluções, em conformidade com a Lei Geral de Proteção de Dados e normas correlatas.
_Complementar o Edital de Chamada Pública quanto à lista de requisitos de negócio que serão avaliados em cada solução proposta.
_Complementar o Edital de Chamada Pública quanto às condições e documentos necessários à eventual doação das soluções pelos participantes do procedimento e outros interessados.
_Permitir a inscrição e validação preliminar de possíveis interessados em apresentar soluções por meio da chamada pública.
_Permitir a inscrição e validação preliminar de possíveis interessados em apresentas soluções por meio da chamada pública.
Divulgação para chamada pública
A estratégia de comunicação inclui a veiculação de mensagens de e-mails para destinatários selecionados, entre empresas e especialistas em IA no setor público e instituições públicas parcerias, postagens nas redes sociais institucionais do MPRJ, disseminação de releases para a imprensa e a manutenção de um site da chamada.

Materiais de divulgação elaborados para a chamada pública

material de divulgação
público alvo
Hotsite da chamada pública
_Interessados em contribuir no processo de consulta pública anterior ao lançamento do Edital
_Pessoas físicas e jurídicas interessadas em participar da chamada pública para teste ou doação de soluções ao MPRJ
_Integrantes de instituições e da sociedade civil interessados em acompanhar as últimas notícias sobre o processo de teste e doação de soluções
Release para imprensa
_Veículos e profissionais de imprensa interessados em repercutir o projeto e a abertura da consulta pública para o Edital
_Seguidores das redes sociais institucionais do MPRJ e público mais amplo alcançado por compartilhamento orgânico das postagens
_Associações, grupos da sociedade civil, aceleradoras e empresas diretamente relacionadas à inovação tecnológica na área do direito
Mala direta e comunicado por e-mail
Textos e artes para postagens e redes sociais
APIInterface de Programação de Aplicações. Canal de comunicação automatizado entre sistemas, via rede.
resultados indiretos
Estabelecimento de canal para melhoria do compartilhamento de dados com o TJRJ
O acesso às bases de dados de processos judiciais é condição essencial para o sucesso do projeto. A partir dos textos das peças, de decisões e de outros dados referentes ao processo, é possível treinar modelos de inteligência artificial, realizar varreduras e encontrar questões que se repetem.
O MPRJ tem uma API em funcionamento para consultar processos judiciais que tramitam no TJRJ, a partir da sua numeração. Porém, para treinar modelos de inteligência artificial e executar varreduras por questões repetitivas em todo o estoque de processos, são necessárias consultas mais amplas – por órgãos julgadores, classes de ações ou assuntos, por exemplo.
Pensando nisso, o Inova_MPRJ elaborou proposta de ofício destinado à Diretoria Geral de Tecnologia da Informação e Comunicação de Dados do TJRJ, solicitando credenciais para consulta aos identificadores de processos existentes no Tribunal. O ofício contou com a colaboração da CADG e da STIC e foi encaminhado pelo Gabinete do Procurador-Geral de Justiça.
Criação de estratégia para desenvolvimento conjunto de soluções com parceiros privados
O desenvolvimento de soluções inovadoras para o setor público exige formas igualmente inovadoras de usar os instrumentos de parceria e contratação à disposição.
Os órgãos de controle exercem papel essencial nesse desafio. Ao combinar experimentação com respeito às normas e princípios que regem a Administração Pública, eles podem gerar segurança jurídica e abrir caminhos para a atuação de outros entes públicos.
No caso de soluções de reconhecimento de similaridade entre documentos, trata-se de um campo da inteligência artificial que tem avançado rapidamente nos últimos anos. As aplicações dessas ferramentas em problemas práticos funcionais – sobretudo no setor público – ainda estão em seu estágio inicial.
O desenho de uma estratégia de aquisição, doação ou desenvolvimento da solução que articule um momento de demonstração de capacidades com a análise de viabilidade para contratação buscou lidar com essa realidade. A premissa foi dar a chance à Administração de identificar diferentes abordagens emergentes e testar como elas performam em casos reais do uso do MPRJ, antes de optar por uma solução definitiva.
Criação de minuta de proposta de lei sobre doações
O trabalho no Síntese também gerou uma proposta de lei para entes públicos que, assim com o Estado do Rio de Janeiro, não possuem normas sobre recebimento de doações de bens móveis e serviços pela Administração Pública. A proposta elaborada pelo Inova_MPRJ foi encaminhada pelo Procurador-Geral de Justiça à ALERJ. O documento está no disponível neste link e no Anexo I deste Relatório.
Para mais detalhes sobre a minuta, confira a seção Estratégia de Doação.
Aprendizado não supervisionadoEstratégia de treinamento de modelos de inteligência artificial que não depende de exemplos previamente classificados por humanos.
Análise semântica latenteTécnica de processamento de textos que busca encontrar relações entre termos e documentos, a partir da ideia de que palavras de sentido próximo devem aparecer em contextos semelhantes.
CODEXFerramenta desenvolvida pelo CNJ para extração, indexação e centralização de informações (metadados e documentos) de todos os processos em tramitação nos tribunais usuários do PJe.
Valor preditivo positivoMedida da qualidade de modelos que indica quantos dos casos classificados como “positivos” pelo modelo – por exemplo, positivos para a afetação por um tema repetitivo – concordam com a avaliação humana ou com uma classificação de referência.
Aprendizado por reforçoEm inteligência artificial, é a estratégia de treinamento que utiliza a validação dos usuários como insumo para melhorar a qualidade das respostas dadas pelo modelo.
Prova de conceitoEtapa antes da contratação de uma licença ou serviço de tecnologia da informação em que o contratante pode testar as funcionalidades do produto sem custo, nem compromisso.
Baco de dados não-relacionalTipo de banco de dados que não se baseia em relacionamentos entre tabelas rigidamente definidas, admitindo outros tipos de estruturas para o armazenamento de dados.
MicrosserviçosEm informática, arquiteturas baseadas em microsserviços são estruturadas de forma que cada componente funcione de forma independente e se comunicando com os demais. Isso permite ganhar flexibilidade no desenvolvimento e manutenção de soluções para resolver problemas específicos, sem precisar alterar o código da aplicação inteira.
caminho
Exploração coletiva do desafio e mapeamento de atores
Em, 16 de julho de 2020, o Inova_MPRJ realizou uma primeira atividade colaborativa, voltada à exploração coletiva do desafio e ao mapeamento de atores. Participaram representantes do CAO Procuradorias, do Núcleo de Articulação e Integração (NAI) e do próprio Laboratório; além de promotores e procuradores de justiça especialistas no tema.
Foi o momento de explorar a inteligência coletiva e identificar as diferentes perspectivas em torno do desafio. Ao preencherem o canvas de redefinição do desafio, os participantes definiram uma visão compartilhada para os próximos passos do projeto. Em seguida, mapearam possíveis parceiros estratégicos, no Mapa de Atores.
Pesquisatona
Em 24 de julho de 2020, o Laboratório realizou uma nova atividade coletiva: a Pesquisatona. Essa atividade consiste em um esforço concentrado de pesquisa voltado a encontrar as melhores práticas no tema do desafio enfrentando.
Os participantes pesquisaram soluções digitais relacionadas à detecção de questões repetitivas no sistema de justiça, no Brasil e no exterior. Além disso, a atividade focou em estratégias de contratação inovadoras pelo Poder Público, que permitissem ao MPRJ a eventual contratação das soluções de modo mais ágil e eficiente.
Participaram integrantes do CAO Procuradorias e do Laboratório, promotores e procuradores de justiça interessados no tema. A atividade contou também com a participação de integrantes da Secretaria de Gestão da Informação do Tribunal de Contas da União (SGI/TCU) e do Laboratório de Inteligência Computacional Aplicada da Pontifícia Universidade Católica do Rio de Janeiro (ICA/PUC-Rio).
Reconhecimento de soluções existentes
MAIA - Atlas.IA
MAIA é uma solução de inteligência artificial que burca proporcionar aos tribunais dados qualitativos e quantitativos sobre as demandas repetitivas existentes. O objetivo é permitir que o Poder Judiciário aborde os processos pendentes de julgamento de modo mais eficaz.
Entre as soluções encontradas pelo Inova_MPRJ durante a pesquisa de mesa, a solução da startup catarinense foi a única desenhada especificamente para a apoiar o uso do IRDR.
Isso se reflete na existência de uma interface gráfica para que o usuário classifique as sugestões do algoritmo em pertinentes e não pertinentes. Nessa mesma interface, é possível ter acesso a dados básicos de inteligência funcional, como o estoque de processos potencialmente afetados por uma questão repetitiva.
A MAIA utiliza algoritmos de aprendizado não supervisionado e de aprendizado por reforço implementados em Python. Para treinar os modelos, a startup utilizou dados de decisões judiciais do TJSC, onde a solução passou por sua primeira prova de conceito.
LEIA Precedentes – Softplan
LEIA Precedentes é um módulo do SAJ – sistema de gestão digital para tribunais, desenvolvido pela Softplan. A LEIA funciona de forma integrada com o restante do sistema, tendo como mote principal a detecção e indicação dos processos afetados por precedentes obrigatórios já estabelecidos pelo STF e pelo STJ.
Atualmente, o módulo conta com 55 temas que podem ser detectados por meio de varreduras em todo o estoque de processos dos tribunais usuários do SAJ. Para cada tema, está implementada consulta baseada em uma matriz de análise semântica latente e em tecnologia ElasticSearch.
O processo de definição de um novo tema depende da intervenção de um time multidisciplinar, que configura os parâmetros de busca de acordo com os aspectos juridicamente relevantes. A otimização desses parâmetros e da matriz é realizado em rodadas sucessivas de validação por usuários do Tribunal, até a solução alcançar 75% de valor preditivo positivo.
Em testes no TJSP, a ferramenta indicou aproximadamente 7% do estoque de processos públicos do Tribunal como vinculáveis a pelo menos um dos temas pesquisados. Dessa fração, em até 23% dos casos a sugestão da ferramenta foi acatada pelo magistrado.
Radar – TJMG
O Radar nasceu como solução de indexação automática dos processos do TJMG. O objetivo que moveu a equipe do Tribunal a desenvolver a solução era superar as limitações da busca de processos baseada em classe, assunto ou em índices cadastrados manualmente.
Tendo em vista a diversidade de sistemas em utilização no Tribunal, a equipe da Coordenação de Desenvolvimento e Manutenção de Sistemas Judiciais da 2ª Instância (COJUD 2ª) desenvolveu um sistema modular, baseado em microsserviços.
Essa arquitetura implementa um banco de dados não-relacional, baseado na suíte Elasticsearch. Essa mesma suíte fornece aos algoritmos responsáveis por recuperar o conteúdo mais relevante para as buscas dos usuários, a partir de filtros e da similaridade dos termos com decisões e peças armazenadas pelo Tribunal.
Apesar de ter contribuído significativamente para a gestão do conhecimento no TJMG, a ferramenta não foi desenhada especificamente para identificar grupos de processos com questões jurídicas em comum. Temporariamente, a equipe do Tribunal tem lidado com esse desafio por meio do cadastro manual de palavras-chave para documentos relevantes – por exemplo, súmulas do STJ.
Modelo de similaridade de petições iniciais – TJRO
O modelo de similaridade de petições iniciais é apenas um dos modelos desenvolvidos no SINAPSES – plataforma de colaboração em inteligência artificial criada pelo TJRO e disponibilizada aos tribunais de todo o país a partir de convênio com o CNJ.
Como os demais modelos no SINAPSES, o modelo de similaridade de petições iniciais é acessível por meio de API, que recebe o texto do documento e retorna uma lista de petições consideradas mais parecidas. Além disso, há uma interface gráfica para prototipação, ajuste e auditoria dos modelos.
Atualmente, o modelo de similaridade textual está adaptado apenas aos tribunais usuários do PJe, por meio da ferramenta CODEX. Ainda assim, o Inova_MPRJ considera que a adoção do SINAPSES pode trazer ganhos à colaboração em inteligência artificial no sistema de justiça como um todo. Por isso, o Laboratório solicitou ao CNJ a adesão do MPRJ à plataforma – o que o tornaria a primeira instituição externa ao Poder Judiciário a fazê-lo.
Elaboração da estratégia de testes, doação e eventual contratação das soluções
Como o mapeamento das soluções existentes se mostrou promissor, a equipe do Laboratório optou por testar as soluções que se destacaram e criar oportunidades para o levantamento de outras potenciais soluções que não foram identificadas durante o mapeamento ou na Pesquisatona.
A lógica tradicional das contratações públicas pressupõe que a Administração saiba em detalhes qual é a solução que deseja contratar, definindo as características do produto ou serviço em um projeto básico.
No caso de contratações inovadoras, principalmente as que envolvem inteligência artificial, essa suposição pode inviabilizar a aquisição – afinal, nem sempre se sabe com antecedência qual solução se sairá melhor em um caso de uso específico. Pior: uma contratação sem testar o desempenho de todas as soluções concorrentes pode levar o Poder Público a contratar um produto que não atende às suas necessidades.
Por essas razões, a equipe do Laboratório formulou um procedimento para teste das soluções existentes no mercado. Tal teste atende a dois princípios do Laboratório: não reinventar a roda, evitando o investimento de esforço na criação de soluções quando já existem alternativas desenvolvidas ou em desenvolvimento; e testar antes de comprar, permitindo o uso adequado dos recursos orçamentários da Instituição funcional.
Configuração jurídica do procedimento de testes
O teste de soluções como insumo para decisões de compras públicas é um mecanismo importante, mas ainda insuficientemente explorado no Brasil. Apesar do pouco uso prático, a Administração possui um instrumento à disposição para essa finalidade: a chamada pública para testes.
Trata-se de modalidade de chamada pública prevista em normas sobre contratação de soluções de TI e vista pelo TCU como boa prática em contratações dessa natureza.
Na definição da configuração jurídica do procedimento de teste do Síntese, o Laboratório se baseou nessas normas e orientações. Detalhamos a seguir cada uma delas.
A jurisprudência do TCU
No caso do TCU, há clara orientação em favor da realização de testes antes da contratação de determinadas soluções. Não é difícil encontrar precedentes em que o Tribunal oriente que, previamente às contratações de soluções de TI, a Administração promova o levantamento e o teste das soluções disponíveis no mercado, por meio da elaboração de uma chamada pública específica para essa finalidade.2
Outra orientação importante do TCU é garantir que os requisitos funcionais das soluções de TI a serem testadas ou contratadas sejam definidos antes de qualquer procedimento de teste ou contratação.
Para o Tribunal, o momento da definição dos requisitos funcionais é um passo fundamental. Caso eles sejam definidos posteriormente aos testes, pode haver direcionamento do objeto da contratação.
No entanto, ao contrário do que se tem interpretado da jurisprudência do TCU sobre o tema, a Corte não restringe a realização testes desoluções pela Administração apenas à fase externa de licitações. A orientação do Tribunal é clara: os testes são possíveis e até desejáveis, desde que os requisitos de negócio sejam definidos previamente.
2 Acórdão n. 1313/2020 (TCU, Plenário, Rel. Min. Augusto Sherman, 2020); Acórdão n. 1956/2018 (TCU, Plenário, Rel. Min. Augusto Nardes, 2018); Acórdão n. 2059/2017 (TCU, Plenário, Rel. Min. Benjamin Zymler, 2017) (cite-se, por todos, o Acórdão n. 1956/2018, no qual o TCU determinou à unidade jurisdicionada “caso [...] realiza[sse] novo procedimento licitatório com o mesmo objeto do Pregão [...], promov[esse] previamente chamada pública com vistas a prospectar as soluções tecnológicas [...] existentes no mercado”).
A resolução nº 102 do CNMP
Outra importante norma seguida pelo Laboratório na formatação do procedimento de teste foi a Resolução n. 102 do CNMP. No mesmo sentido da jurisprudência do TCU, a norma determina que os requisitos funcionais de soluções de TI sejam definidos previamente a eventual contratação.3
Além disso, a Resolução prevê como passos iniciais destinados a esse tipo de contratação o levantamento de soluções disponíveis no mercado e a identificação das diferentes soluções que atendam aos requisitos funcionais.4 Ambos são passos comuns às contratações de soluções de TI pela Administração (regras semelhantes são previstas pela Instrução Normativa SGD/ME n. 1, de 4 de abril de 2019, que dispõe sobre o processo de contratação de soluções de TI pelos órgãos e entidades integrantes do Poder Executivo Federal).
3 Art. 11, inciso I, da Resolução 102.
4 Arts. 10, inciso I, alínea b; e inciso II, alínea c, da Resolução 102.
Procedimentos semelhantes
No processo de definição da estratégia de testes, o Inova_MPRJ se baseou também em procedimentos elaborados por outros órgãos e entidades públicas para reconhecimento de soluções de mercado. Entre essas experiências, se destacaram as descritas na tabela abaixo:

Procedimentos de chamada pública que inspiraram o Síntese

documento
órgão/entidade responsável
Ministério Público do Estado de São Paulo
Chamar interessados a apresentarem soluções inovadoras, de acordo com procedimento abaixo descrito e com os termos do Ato nº 1060/2017 - PGJ, 27 de novembro de 2017, conforme desafios expressos no item 3 e Anexo I.
Chamar interessados a apresentarem soluções inovadoras na temática do PTE- MG, instituído pela Lei nº 21.777, de 29 de setembro de 2015, contribuindo na resolução do desafio e problema técnico específico detalhado no Anexo I.
Secretaria de Estado de Educação de Minas Gerais
Promove[r] testes, na forma de uma prova de conceito (POC), de hospedagem de uma aplicação em uma plataforma de Computação na Nuvem, integrada com aplicações hospedadas em seu datacenter [...].
Companhia de Tecnologia da Informação do Estado de Minas Gerais
Promove[r] testes, na forma de uma prova de conceito (PoC), de implantação de uma solução de Gestão de Processos Judiciais, em ambiente de procuradoria, integrada com TJRJ – Tribunal de Justiça do Rio de Janeiro e com a Dívida Ativa, hospedada na nuvem [...].
Procuradoria-Geral do Município de Niterói
Prefeitura do Município de Maringá
[...] Chamamento público para teste de novas tecnologias de semáforos inteligentes, visando a aferição da especificação técnica para posterior aquisição através de licitação.
Empresa Pública de Transporte e Circulação de Porto Alegre
Chamar interessados a apresentarem soluções inovadoras, de acordo com procedimento abaixo descrito e com os termos da Lei nº 10.407/2017, nas áreas de Saúde, Educação, Semulher, Procon, Seide e Semuc, facilidades ao cidadão, conforme desafios expressos no item 3 seguintes e Anexos I, II, III, IV, V e VI.
objeto
Estratégia de doação
A elaboração da estratégia de contratação e parcerias envolveu, além do teste, uma outra dimensão de pesquisa - dos instrumentos jurídicos adequados ao desenvolvimento conjunto e de possível doação de soluções ao MPRJ (pelos participantes da chamada pública ou por outros interessados).
No quadro normativo brasileiro, há um vácuo de normas voltadas à regular parcerias entre o setor público e entidades privadas com fins lucrativos. Para supri-lo, há uma corrente que defende a extensão das normas da Lei n. 13.019, de 31 de julho de 2014 (denominada Marco Legal das Organizações Sociais), às parcerias estabelecidas entre o Estado e aquelas entidades (não apenas com entidades sem fins lucrativos, como prevê a Lei). Na visão do Inova_MPRJ, não parece ser esse o caminho adequado. Estender a aplicabilidade de uma norma a uma hipótese que ela não previu é subverter o desenho imaginado pelo legislador.
A partir do ano de 2018, outro movimento normativo ganhou destaque. Trata-se da regulação da doação de bens móveis e serviços à Administração. Pioneiro na regulamentação do assunto, o Município de São Paulo editou o Decreto n. 58.102, de 23 de fevereiro de 2018, específico sobre o tema. Logo após, outros estados editaram normas semelhantes o Estado de São Paulo, de Minas Gerais, de Goiás e do Pará.
Em 2019, foi a vez da União regulamentar o assunto em âmbito federal. Publicado em 11 de abril daquele ano, o Decreto n. 9.764 consolidou boas práticas estabelecidas nas normas que o antecederam e foi além: previu que as “doações de bens móveis e de serviços têm por finalidade o interesse público e buscarão, sempre que possível, a ampliação da relação com startups e o exercício do empreendedorismo inovador e intensivo em conhecimento [...]”. Tornou-se, assim, um importante instrumento de parcerias entre instituições públicas e privadas.
No Síntese, o Inova_MPRJ seguiu o exemplo do Decreto 9.764. Ao lado do procedimento de teste, o edital de chamada pública previu também o procedimento de doação, seguindo as normas do mesmo Decreto. A oportunidade de doação é aberta tanto aos participantes dos testes quanto a qualquer outro interessado.
Lançamento da minuta de edital da chamada pública
Tendo em vista os atos normativos e as experiências levantadas, a equipe do Laboratório entendeu que a realização de uma chamada pública era o melhor caminho para permitir que pessoas físicas e jurídicas apresentassem ao MPRJ o que já há em desenvolvimento no mercado. A partir desse reconhecimento, a Instituição pode definir rumos mais compatíveis com as suas necessidades e objetivos estratégicos.
Como medida destinada a potencializar a transparência e a participação pública no procedimento, o Inova_MPRJ disponibilizou a minuta de edital produzida pelo Laboratório para comentários públicos. O documento ficou disponível para comentários entre os dias 8 e 28 de setembro de 2020.
O lançamento da minuta para comentários foi acompanhado de uma campanha de comunicação com foco em pessoas, entidades e coletivos envolvidos com inovação e inteligência artificial em direito.
Em linha com a jurisprudência do TCU, a minuta já continha a relação de requisitos funcionais da solução de interesse pelo MPRJ (Anexo I do Edital). Essa medida dá publicidade aos requisitos, abrindo, inclusive, chance para sugestões de melhorias, e evitando risco de direcionamento posterior.
A minuta de edital previu também a possibilidade de doação ao final do procedimento, seguindo as normas do Decreto 9.764. Pelo documento, a oportunidade de doação seria aberta tanto aos participantes dos testes quanto a qualquer outro interessado.
A minuta do Edital, a devolutiva dos comentários e a versão consolidada após a consulta pública podem ser acessadas no site do projeto.
Prova de conceitoEtapa antes da contratação de uma licença ou serviço de tecnologia da informação em que o contratante pode testar as funcionalidades do produto sem custo, nem compromisso.
APRENDIZADOS
1

A importância de testar antes de comprar
Existem cidadãos e empresas interessados em desenvolver soluções inovadoras para os desafios do setor público. Porém, nem sempre os procedimentos licitatórios tradicionais funcionam nesses casos. Quando não há uma solução com clara superioridade técnica em relação às demais, é interessante testar as diferentes alternativas, em procedimento isonômico, aberto e transparente. Além disso, a oportunidade de testar é a melhor abordagem diante do fato de que, consideradas as especificidades de cada instituição, pode não existir uma solução que seja a melhor para todas.

A importância de definir requisitos de negócio previamente
Ainda em linha com o Acórdão TCU n. 2.059/2017 e com a Resolução n. 102 do CNMP, é fundamental que qualquer teste de soluções esteja baseado em levantamento prévio das necessidades de negócio da área demandante. Esse levantamento pode se beneficiar de técnicas de design de serviços, e permite estabelecer desde o primeiro momento os critérios objetivos segundo os quais as diferentes soluções disponíveis no mercado serão avaliadas em eventual procedimento de teste ou contratação.

2

É necessária cautela na interpretação do Acórdão n. 2.059/2017
Após o Acórdão n. 2.059/2017 do TCU, houve uma percepção de que a única forma legítima de prova de conceito no setor público é a que ocorre na fase externa da licitação, com o vencedor já definido. Trata-se, porém, de leitura superficial desse acórdão. O que o Tribunal proibiu foi a realização de procedimentos de testes de soluções sem que houvesse levantamento prévio das necessidades funcionais da área demandante. Segundo o TCU, o procedimento deve estabelecer desde o primeiro momento os critérios objetivos segundo os quais as diferentes soluções disponíveis no mercado serão avaliadas. Além disso, ao anular o procedimento realizado naquele caso, o voto do ministro relator e o relatório adotado pelo plenário destacam a importância de fundamentar as contratações de soluções de TI em uma concorrência mais ampla possível das soluções disponíveis. Nesse sentido, reforçam a importância de prévios levantamentos de mercado abrangentes e objetivos, de forma a encontrar a tecnologia que melhor atenda às necessidades da Administração.

3

Uso inadequado da Lei n. 13.019 para fundamentar realização de testes de soluções desenvolvidas por entidades privadas com fins lucrativos
Na visão do Inova_MPRJ, não pareceu adequada a extensão das normas da Lei n. 13.019 a entidades privadas com fins lucrativos. O art. 2º, inciso I, alínea “a”, é claro ao restringir a aplicação da norma a entidades sem fins lucrativos. Ainda assim, identificamos em nossa pesquisa de mesa, experiências que se valeram dessa norma para fundamentar acordos de cooperação voltados a testes de soluções de TI pela Administração. Por isso, na chamada pública desenhada pelo Laboratório, optamos pela fundamentação nas normas da própria Lei n. 8.666, de 21 de junho de 1993, e a previsão de possível doação de soluções ao MPRJ por meio do procedimento descrito no Decreto n. 9.764.

4
próximos passos
1.início das inscrições de interessados e avaliação preliminar das propostas de solução
Após devolutiva da consulta pública e realização das eventuais alterações, o Edital será enviado para validação da Secretaria-Geral do MPRJ. Uma vez aprovado, será publicado, junto à abertura das inscrições. Propostas de solução que indiquem atender a pelo menos metade dos requisitos funcionais prioritários serão selecionados para teste em conjunto com o MPRJ.
2.desenvolvimento e teste das soluções em um subconjunto de processos judiciais
A adaptação de ferramentas de inteligência artificial a um caso de uso depende de um trabalho cuidadoso de processamento da informação e de otimização dos modelos. Por isso, as soluções selecionadas para teste terão um período específico para essa adaptação. Ao final do período, será fornecida uma segunda amostra de peças e decisões judiciais, a partir da qual o desempenho das soluções será avaliado.
3.andamento do processo de contratação de soluções compatíveis com as estratégias mais promissoras
A chamada pública deve subsidiar processos de contratação de soluções de TI para atender às necessidades da instituição no sistema de precedentes. De acordo com os resultados, a equipe de planejamento da contratação poderá delimitar as características das soluções com melhor potencial de desempenho. Poderá, também, traçar estratégia de contratação compatível com o nível de maturidade das soluções no mercado, bem como apontar critérios pertinentes de julgamento de técnica.
agradecimentos
À Procuradora de Justiça Maria da Conceição Lopes
A equipe do Inova_MPRJ registra agradecimento especial aos integrantes do Centro de Apoio Operacional das Procuradorias de Justiça (CAO Procuradorias). Agradecemos especialmente à Procuradora de Justiça Maria da Conceição Lopes de Souza Santos, ex-Coordenadora do órgão, que infelizmente nos deixou em novembro de 2020. Uma visionária, como carinhosamente a chamávamos. Símbolo do incentivo à melhoria contínua e apoio irrestrito à inovação nas atividades da Instituição. Sem sua liderança e inspiração este projeto não existiria. O Síntese é uma pequena parte de seu inestimável legado para o Ministério Público do Estado do Rio de Janeiro, instituição que tanto se dedicou ver transformada. Seu carinho e afeto estarão eternamente marcados naqueles que tiveram a oportunidade de trabalhar ao seu lado.
Ministério Público do Estado do Rio de Janeiro
José Ciotola Eduardo Gussem (Procurador-Geral de Justiça)
Maria Cristina Palhares dos Anjos Tellechea (Subprocuradora-Geral de Justiça de Planejamento Institucional)
Maria da Conceição Lopes de Souza Santos (Coordenadora do Centro de Apoio Operacional das Procuradorias de Justiça) - in memoriam
Ligia Portes Santos (Coordenadora do Núcleo de Articulação e Integração)
Larissa Borges de Souza (Centro de Apoio Operacional das Procuradorias de Justiça)
Bruno de Sá Barcelos Cavaco (1ª Promotoria de Justiça de Tutela Coletiva do Núcleo Macaé)
Claudia Maria Macedo Perlingeiro Dos Santos (27ª Procuradoria de Justiça da Região Especial de Procuradores de Justiça)
Fernanda Cunha Bahia (1ª Promotoria de Justiça Criminal de Barra do Piraí)
Parceiros externos
Fernando Alberto Correia dos Santos Junior (Laboratório de Inteligência Computacional Aplicada da Pontifícia Universidade Católica do Rio de Janeiro)
João Batista Rodrigues Fonseca (Secretaria de Gestão de Informações para o Controle Externo do Tribunal de Contas da União)
Rogério Sampaio Boaventura (Secretaria de Gestão de Informações para o Controle Externo do Tribunal de Contas da União)
ficha catalográfica
INOVA_MPRJ
Beatriz Ferreira
Bernardo Baron
Breno Gouvêa
Daniel Lima Ribeiro
Estevan Amazonas
Gabriel Delman
Júlia Rosa
Leonardo Santanna
Letícia Albrecht
Manuella Caputo
Marcelo Coutinho
Matheus Donato
CAO Procuradorias
Daniel Cardoso Luz Telles
Danielle Da Silva Gonçalves
Ediléa Goncalves dos Santos Cesario
Josue Chaves
Larissa Borges de Souza
Ludmila Rosa Fernandes Da Silva Ferret
Maria da Glória Araujo Amaral - in memoriam
Marcelo Pereira Marques