Jornada do dado

Hoje, a pesquisadora lê o Diário Oficial ato por ato, anota cada um numa planilha e classifica na tipologia. A plataforma faz o mesmo caminho em duas etapas:

1. Replicar a planilha: ler o DOU e produzir, para todos os conselhos, as mesmas linhas que ela escreve à mão.
2. Enriquecer com a tipologia dela: uma IA classificatória atribui a cada ato uma das categorias que ela usa.

Hoje · à mãoLer o DOU

Ato por ato, conselho por conselho.

Hoje · à mãoAnotar na planilha

Data, ato, autor e tema. Cinco abas, cinco conselhos.

Hoje · à mãoClassificar

DEF, FISC, GEST, AUTO ou IP.

Plataforma · etapa 1Baixar o Diário Oficial

Automaticamente, todo dia útil.

Plataforma · etapa 1Replicar a planilha

As mesmas linhas, para os 82 conselhos.

Plataforma · etapa 2A IA classifica

Na tipologia dela, em escala.

O caminho completo

Cinza: o trabalho feito hoje à mão. Azul cheio: já pronto. Contorno tracejado: o que vem nas próximas etapas, até o assistente de perguntas.

O ciclo de vida, estágio por estágio

A disciplina percorre os cinco estágios do ciclo de vida do dado. Cada estágio tem uma entrega.

Estágio	No projeto	Situação
Geração	O DOU nasce na Imprensa Nacional. A classificação nasce na curadoria, que é o nosso OLTP (ADR 0001).	E1 ✅
Armazenamento	OLTP de curadoria em PostgreSQL 16 (ADR 0002), com os 215 atos e as classificações da pesquisadora.	E1 ✅
Ingestão	O DOU em XML pelo INLABS, em lote diário, e as mudanças da curadoria por CDC, gravados em formato aberto (Parquet).	E2
Transformação	A planilha replicada, a tipologia proposta pela IA e o indicador de vitalidade por conselho.	E3
Disponibilização	O indicador publicado para a pesquisadora e, no fim, um assistente de perguntas (RAG).	E4 em diante

Etapa 1 · Replicar a planilha

O que já existe (E1). A planilha dela está dentro do banco: 215 atos de 5 conselhos, lidos sem passo manual (relatório da carga). Os 125 nomes de conselho que ela mapeou viram 82 órgãos, e cada grafia vira um alias (identidade dos conselhos).

O que vem (E2).

1. Ingerir o DOU: o INLABS publica cada edição em XML. Resoluções de conselho ficam na Seção 1, que tem cerca de 300 matérias por dia útil.
2. Achar o conselho: cada matéria traz o campo artCategory com a hierarquia do órgão emissor. O último nível é casado com os aliases da identidade dos conselhos (ADR 0004). Nome não reconhecido não é descartado: vira pendência para a curadoria.
3. Escrever a linha da planilha: data, ato, conselho emissor e ementa, gravados em ato com origem = 'DOU', ao lado dos atos com origem = 'PLANILHA'.

Como saber que a replicação funciona. Os atos que ela anotou à mão servem de gabarito: a plataforma precisa encontrar no DOU cada um deles, com a mesma data e o mesmo conselho.

Limite conhecido

O INLABS só tem o DOU em XML a partir de 1º/1/2020, e só 4 dos 215 atos da planilha são de 2020 em diante (todos do CNPIR; os demais vão de 2003 a 2009). Comparar a replicação com o trabalho manual exige outra fonte do DOU para antes de 2020, ou uma amostra nova classificada pela pesquisadora. É uma decisão da E2.

Etapa 2 · Enriquecer com a tipologia

Como funciona. Uma IA classificatória lê cada ato e atribui uma das cinco categorias, ou 99 (fora da tipologia). A classificação entra em classificacao com o revisor PIPELINE e um grau de certeza. As classificações que a pesquisadora já fez continuam guardadas ao lado (insert-only, ADR 0001): nada é sobrescrito.

Como medir se a IA acerta. Os 215 atos que ela já classificou são o gabarito. A acurácia é a concordância entre a classificação da IA e a dela.

O gabarito é desbalanceado. É isso que a avaliação precisa levar em conta:

DEF	FISC	GEST	AUTO	IP	99
68	31	6	97	7	6

Com só 6 exemplos de GEST e 7 de IP, a acurácia geral esconde os erros nas categorias raras. A medição precisa ser por categoria.

Que IA. Ainda é uma decisão em aberto: regras, classificador clássico ou modelo de linguagem rodando localmente. Ela vai virar um ADR, com as três alternativas medidas sobre os 215 atos (decisões em aberto).

Enriquecer com outras bases (proposta para a E3)

A tipologia enriquece cada ato. Para o indicador de vitalidade, o modelo analítico da E3 também precisa de dimensões: quem é o conselho, a que ministério responde, se ainda existe, o que aconteceu em volta dele. Essas informações não estão no DOU. A escolha das bases ainda é uma decisão em aberto da squad (decisões em aberto); a proposta, por ordem de retorno:

Base	O que traz	Por que	Custo e risco
1. Cadastro de órgãos do governo (SIORG)	Vinculação ministerial, natureza e situação de cada conselho	Já está em uso: o make siorg baixa o cadastro, e 68 dos 82 conselhos têm código (ADR 0004). Dá o denominador do silêncio, os conselhos que existem e não publicam, e uma dimensão de variação lenta: o conselho que muda de ministério, como o CONAMA em 2023.	Baixo. O casamento de nomes não é completo: 28 das 125 grafias não casam com nenhuma unidade.
2. Marcos legais e de governo	Mandatos presidenciais e os decretos que criam ou extinguem colegiados, como o Decreto nº 9.759/2019, que extinguiu colegiados federais em massa	Explica quedas na série: um conselho que para de publicar em 2019 pode ter sido extinto, e não ficado em silêncio.	Baixo: é uma tabela pequena, montada à mão e versionada no repositório. O trabalho é a curadoria de quais decretos entram.
3. Brasil Participativo	Composição, agenda e reuniões de cada conselho	Um segundo sinal de vitalidade, independente do DOU: o conselho que se reúne e não publica, ou o contrário.	Alto: ninguém conferiu ainda se há API, nem a cobertura e o histórico. Vale um teste antes de entrar no modelo; o candidato natural é a E4.

O critério da escolha é o checklist da E3: o modelo precisa de fato e dimensão, com pelo menos uma dimensão de variação lenta. A base 1 cobre isso sozinha; a 2 é barata e ajuda a ler a série; a 3 é a de maior valor e a de maior incerteza.

Depois das duas etapas

Com a planilha replicada e classificada para os 82 conselhos, o indicador de vitalidade combina dois sinais:

• Silêncio: há quanto tempo cada conselho não publica, contado contra um censo independente do DOU. Um conselho que não publica não aparece no DOU, e a ausência é justamente o que se quer medir.
• Tipologia ao longo do tempo: um conselho que só produz AUTO está se administrando, não decidindo política pública.

Etapa final · um assistente de perguntas (RAG)

Com as decisões guardadas e classificadas, o último passo é deixar qualquer pessoa perguntar em linguagem natural, por exemplo: "o que o CONAMA decidiu sobre licenciamento em 2023?" ou "quais conselhos não publicam nada há mais de um ano?".

Como as peças e as ferramentas se encaixam está na arquitetura final.

O assistente usa RAG (geração aumentada por recuperação): antes de responder, ele busca no banco as decisões relevantes e só então escreve a resposta, citando o ato do Diário Oficial de onde tirou cada informação. Assim, a resposta pode ser conferida, e o assistente não inventa o que não está nos documentos.

O que isso exige das etapas anteriores:

• O texto integral das decisões: só os atos lidos do Diário Oficial têm o texto completo (origem = 'DOU'). Os 215 atos da planilha têm só a ementa, então o assistente vai conhecer bem o período a partir de 2020.
• A identidade dos conselhos resolvida: para a pergunta "o que o CONAMA decidiu", o assistente precisa saber que todas as grafias e nomes antigos são o mesmo conselho (ADR 0004).
• A classificação da IA com o grau de certeza: perguntas sobre o tipo de decisão usam a categoria atribuída pela IA, e o assistente mostra o quanto ela tinha certeza.