DATTA BI — Refresh Scheduler (atualização de datasets materializados)

O Refresh Scheduler define visualmente quando e como cada dataset materializado do DATTA BI é atualizado — completo ou incremental — sem escrever uma linha de agendamento técnico. Dashboard bom é dashboard atualizado, mas reprocessar tudo a cada hora desperdiça recursos e editar cron à mão é convite a erro. Aqui você escolhe o modo e a frequência em uma tela, e a plataforma cuida da execução, do histórico e da reversão — sem nunca deixar um "buraco" de dados visível nos dashboards.

Cada dataset que alimenta um dashboard é materializado pela plataforma (Neo4j, OpenSearch ou Iceberg, conforme o destino escolhido na consulta DATTAX). O agendador controla o ciclo de vida dessa materialização.

Abra o diálogo pelo botão Atualização no painel do dataset — ele também está disponível dentro do editor de dashboard.

Completo ou incremental

O modo incremental exige uma coluna watermark (marca-d'água) no dataset: um timestamp ou um id crescente. A plataforma guarda o watermark do último sucesso e, na execução seguinte, filtra apenas o que veio depois dele. Destinos Neo4j e OpenSearch gravam por upsert; o Iceberg gera um snapshot incremental.

A escolha entre completo e incremental é por dataset — vários dashboards reutilizam o mesmo dataset e se beneficiam juntos.

Configurar sem ver cron

No diálogo, tudo é visual. A plataforma converte a escolha numa política de atualização e enfileira as execuções no agendador distribuído — o cron é gerado internamente e nunca exposto.

• Tipo — Full Refresh ou Incremental Refresh.
• Frequência — sob demanda, horária, diária, semanal, mensal ou personalizada.
• Horário — interpretado no fuso horário do workspace.
• Janela de execução — um intervalo em que a atualização não roda (por exemplo, "não rodar entre 08h–18h", horário de pico dos usuários).
• Watermark — lista das colunas de timestamp/id do dataset, com pré-visualização do último valor sincronizado.
• Notificações — e-mail ou Slack em caso de sucesso e/ou de falha.
• Retenção do snapshot — 7, 30, 90 dias ou ilimitado.

A política fica registrada no banco de sistema do DATTA BI (datta-bi-db).

Acompanhar e controlar

Status em tempo real no card do dataset:

Histórico — uma linha do tempo com duração, modo, linhas processadas, watermark final e link para os logs e rastros correlacionados de cada execução.

Ações disponíveis:

• Atualizar agora força uma execução manual, respeitando a proteção contra execuções sobrepostas.
• Pausar congela o agendamento sem perder a configuração.
• Rollback reverte para o snapshot anterior, quando a retenção configurada ainda o mantém disponível.

Garantias que você não precisa configurar

• Sem execuções duplicadas — duas atualizações completas sobrepostas do mesmo dataset são deduplicadas automaticamente por trava distribuída, mesmo com a plataforma operando em várias instâncias.
• Fila com limite — teto configurável de atualizações paralelas por workspace; o excedente aguarda em fila, por ordem de chegada, sem derrubar as fontes.
• Falha sem impacto — se o pipeline DATTAX falhar, o snapshot anterior continua servindo os dashboards; nunca há "buraco" de dados visível.
• Auditoria completa — cada início, sucesso e falha fica registrado (DATTABI.REFRESH.STARTED, COMPLETED, FAILED) com autor, modo, linhas processadas, duração e os watermarks antes e depois.
• Permissões — configurar e disparar atualizações exige DATTABI_DATASET_REFRESH; consultar o histórico exige DATTABI_VIEW.

Exemplo prático — carga incremental noturna com janela protegida

1. No painel do dataset de movimentações processuais, clique em Atualização.
2. Escolha Incremental Refresh e selecione updated_at como coluna Watermark — a pré-visualização mostra o último valor já sincronizado.
3. Defina Frequência diária às 03:00, Horário no fuso do workspace e a Janela de execução bloqueando 08h–18h: nenhuma rodada agendada invade o horário de pico dos usuários.
4. Ative Notificações de falha e defina Retenção do snapshot em 30 dias.
5. No dia seguinte, confira o Histórico: a rodada noturna processou só os registros novos. Se alguma carga sair errada, Rollback devolve os dashboards ao estado anterior na hora.

Para a atualização dos visuais de um dashboard (ao abrir, manual, por intervalo, por cron ou após materialização), veja o guia do DATTA BI. A plataforma também expõe um endpoint para disparar a atualização imediata de um dataset materializado — veja a referência de API.