Ingestão da Jurisprudência do CARF (súmulas e acórdãos)

Cole o endereço da seção de jurisprudência do CARF e o DATTA traz todas as súmulas — com órgão que aprovou, efeito vinculante, situação, matéria, turma e acórdãos precedentes — e os acórdãos com inteiro teor, prontos para busca e para o chat. A seção do site do Conselho Administrativo de Recursos Fiscais não é uma página: são mais de vinte páginas HTML que se repetem e se completam, mais um conjunto de PDFs. A aba URL da página de Upload reconhece esse endereço e varre a seção inteira em segundo plano, com barra de progresso real.

O que a ingestão do CARF faz

Ao receber https://www.gov.br/carf/pt-br/jurisprudencia (ou qualquer página dessa seção), a plataforma:

• varre todas as páginas da seção: o quadro geral "Súmulas Consolidadas com os Acórdãos Precedentes", as súmulas por matéria (IRPF, IRPJ / CSLL, PIS / COFINS/CIDE, Contribuições Previdenciárias, Decadência/Prescrição, Depósitos Bancários, IPI / Comércio Exterior, ITR, Juros de Mora e Penalidades, Normas Gerais de Direito Tributário, Restituição / Compensação, Simples), as súmulas por turma (Pleno, 1ª, 2ª e 3ª Turmas da CSRF) e a lista de Acórdãos CARF;
• consolida cada súmula a partir de todas as páginas em que ela aparece: o enunciado vem do quadro geral; a matéria e a turma vêm das páginas de agrupamento, que são a única fonte dessas duas informações;
• grava cada súmula como um documento do contexto, com número, órgão e data de aprovação, vigência, enunciado, efeito vinculante (e a portaria que o atribuiu), situação (em vigor ou revogada) e a lista de acórdãos precedentes;
• grava cada acórdão da lista como documento, baixando o PDF publicado e extraindo o inteiro teor; quando o PDF não pode ser lido, o documento fica com os metadados da lista (número, processo, contribuinte e link);
• grava as portarias e atas publicadas junto às súmulas (efeito vinculante, revogações) como documentos normativos;
• indexa o texto completo e os vetores semânticos no índice do contexto, com o modelo de embedding ativo, para que tudo apareça na Busca e no Chat;
• monta o grafo: cada súmula se liga aos acórdãos precedentes, à matéria, ao órgão que a aprovou e à portaria de efeito vinculante; cada acórdão, quando a extração de entidades está ativa, ganha as partes, normas e temas identificados pelo modelo configurado para o contexto.

A carga é idempotente: repetir a URL atualiza o que mudou e nunca duplica — cada súmula tem um código fixo (CARF_SUM_<número>), assim como cada acórdão (CARF_AC_<número>) e cada arquivo (CARF_ARQ_<nome>).

O que não entra por aqui: a base completa de acórdãos do CARF (582 mil decisões) vive num repositório à parte, fora da seção de jurisprudência do portal, e não é uma página que se possa varrer. Ela é carregada pelo pacote Jurisprudência — CARF do Datta Extract, no mesmo contexto: o pacote traz ementa, dispositivo, relator, órgão julgador e o inteiro teor de cada acórdão, vetorizado em chunks, e enriquece os acórdãos precedentes que esta ingestão criou. Veja o guia Fontes de jurisprudência do administrador. A página "Pareceres Vinculantes" exige login no portal e fica de fora.

Antes de começar

O nome do cadastro é Jurisprudencia-CARF, sem acento, porque o cadastro de contexto só aceita letras, números, hífen e sublinhado; o rótulo exibido nas telas é Jurisprudência-CARF.

Passo a passo

1. Abrir a página de Upload

Vá em Processar›Upload. A trilha de navegação confirma onde você está: DATTA › Processar › Upload.

2. Escolher o contexto de destino

No bloco Contexto de Destino, selecione Jurisprudência-CARF. Carregar a jurisprudência num contexto de legislação (CPC, CDC) misturaria súmulas com artigos de lei no mesmo índice — escolha sempre o contexto próprio.

3. Selecionar a aba URL e colar o endereço

Cole https://www.gov.br/carf/pt-br/jurisprudencia. Assim que a plataforma reconhece um endereço do CARF, aparece um aviso abaixo do campo dizendo que a seção inteira será varrida e que o Filtro de artigos não se aplica (súmulas não têm artigos).

Qualquer página da seção serve como ponto de partida — por exemplo, a página de uma matéria (.../sumulas-carf/irpf): a varredura sempre cobre a seção toda.

4. Iniciar

Clique em Carregar URL. A ingestão começa em segundo plano e você pode sair da tela; ao voltar, a barra reconecta ao progresso.

O que acontece depois que você clica

A carga percorre cinco fases, refletidas na barra e no feed ao vivo:

O diagrama do modelo mostra os tipos de nó que vão nascendo (Documento, Jurisprudência, Tema, Órgão Julgador, Norma) e as arestas entre eles.

Você pode cancelar a qualquer momento; os itens já gravados permanecem e a próxima carga retoma sem duplicar.

Como consultar depois

• Busca: pesquise por texto ("depósitos bancários origem não comprovada") ou por número ("Súmula CARF nº 26"). Os resultados trazem o tipo do documento (súmula, acórdão ou ato normativo) e a fonte carf.
• Chat: com o contexto Jurisprudência-CARF ativo, pergunte "qual súmula trata de decadência quando houve pagamento antecipado?" ou "a Súmula 12 é vinculante?". O assistente cita o número, o enunciado literal, o efeito vinculante com a portaria e a situação, e nunca responde de memória.
• Grafo: a súmula é um Documento de tipo sumula_carf ligado por DOCUMENTO_CITA_JURISPRUDENCIA a cada acórdão precedente, por DOCUMENTO_CITA_TEMA à matéria, por DOCUMENTO_JULGADO_POR_ORGAO ao órgão que a aprovou e por DOCUMENTO_CITA_NORMA à portaria de efeito vinculante.
• Triagem: o contexto nasce marcado como corpus de regras. Um contexto de processos administrativos fiscais pode declará-lo em suas regras, e o laudo passa a verificar aderência da peça às súmulas vinculantes vigentes.

Perguntas frequentes

A carga demora quanto? As súmulas (pouco mais de duzentas) levam poucos minutos. Os acórdãos dependem do download e da extração dos PDFs e da extração de entidades pelo modelo; com a extração ativa, conte dezenas de minutos.

Uma súmula apareceu sem matéria ou sem turma. Essas duas informações vêm das páginas de agrupamento do site, que o CARF mantém "em processo de atualização". Súmula recente pode ainda não constar nelas; a próxima carga preenche.

Repeti a URL e o número de súmulas não mudou. Esperado: a carga é idempotente. Ela atualiza o texto de quem mudou e acrescenta o que é novo; não recria o que já existe.

Um acórdão ficou só com os metadados. O PDF publicado não tinha texto extraível (digitalização sem OCR) ou excedeu o tamanho máximo configurado. O documento existe, com o link do inteiro teor para abrir no site.

Automação e limites

A mesma carga pode ser disparada por automação, pelo mesmo endpoint que a aba URL usa: informe o endereço da seção do CARF e o contexto de destino (Jurisprudencia-CARF); a resposta devolve o identificador da tarefa, que serve para acompanhar o andamento ou cancelar. A opção de extração de entidades (ligada por padrão) controla se o modelo do contexto lê o inteiro teor dos acórdãos. A rota, os campos e os códigos de resposta estão na referência de API da ingestão por URL, na seção de API do portal.

Limites ajustáveis por variável de ambiente do serviço de documentos: DATTA_CARF_MAX_PAGES (páginas HTML, padrão 80), DATTA_CARF_MAX_PDFS (padrão 400), DATTA_CARF_MAX_PDF_BYTES (padrão 30 MB), DATTA_CARF_MAX_PDF_TEXT_CHARS (padrão 400 mil caracteres), DATTA_CARF_DOWNLOAD_CONCURRENCY (padrão 4) e DATTA_CARF_INDEX_CONCURRENCY (padrão 6).