PT EN
Voltar ao site

Gerenciamento de Conexões — Guia do Usuário

O cadastro de conexões do DATTA é o ponto central para ligar a plataforma a qualquer fonte externa de dados — bancos relacionais, warehouses, query engines, Neo4j, OpenSearch, Kafka, Pulsar, Cassandra, MongoDB, BigQuery, arquivos e dezenas de outras. Você cadastra a fonte uma única vez, em poucos cliques, e a plataforma cataloga o conteúdo automaticamente no momento da conexão — sem duplicatas e com as credenciais sempre protegidas.

Este guia cobre a experiência do usuário final e do administrador. Para arquitetura e implantação, veja acesso a dados e o runbook de conexões.


Onde você cria conexões

A tela dedicada é SistemaConexões — é lá que você lista, cria, edita e revoga conexões. Mas você não precisa sair do seu fluxo de trabalho: o mesmo diálogo de cadastro, com o mesmo comportamento, abre de dentro do:

  • DATTABI — Preparar Dados, ao montar um dataset para um dashboard.
  • Designer de Pipeline do Extract, no componente de origem.
  • Extract Quick, no componente de origem — aqui o botão + Nova conexão leva você para SistemaConexões, por decisão de design.
  • Catálogo de Dados, na criação de dataset.

Nenhuma parte da plataforma guarda conexão em base própria: o cadastro é único e o registro é idempotente — cadastrar duas vezes a mesma configuração devolve a mesma conexão, nunca uma duplicata. Criar conexão sem catalogar é anti-pattern na plataforma (Diretrizes do Projeto §7).


O que aparece na tela de conexões

A lista traz as colunas Nome, Tipo, Host, Visibilidade, Status, Última catalogação e Ações.


Passo a passo: cadastrar uma conexão

  1. Abra SistemaConexões e clique em + Nova conexão.
  2. Escolha o Tipo da fonte na lista (as categorias estão detalhadas adiante).
  3. Preencha host, porta, database, usuário e senha.
  4. Defina a Visibilidade: PRIVATE (só você), WORKSPACE (usuários do workspace, quando passado explicitamente) ou PUBLIC (todos os usuários da instância — requer perfil de administrador).
  5. Ajuste as opções específicas do tipo (TLS, SSL, mecanismo SASL, etc.).
  6. Ao submeter, a plataforma:
    • Testa antes de salvar e mostra o resultado do teste na hora — você só persiste o que já sabe que funciona.
    • Deduplica: se já existe uma conexão com o mesmo tipo+host+porta+banco+usuário, ela é reaproveitada e apenas a sua credencial é vinculada a ela.
    • Dispara a catalogação automática em segundo plano (veja a seção seguinte).
    • Fecha o diálogo e devolve a conexão pronta para uso ao fluxo de onde você veio.

Tipos oferecidos no seletor:

  • Relacionais: PostgreSQL, MySQL, MariaDB, SQLite, H2, CockroachDB, TimescaleDB, MSSQL, Oracle, IBM Db2, SAP HANA, Firebird, Vertica, Exasol.
  • Warehouses: Snowflake, Redshift, Azure Synapse, Databricks, BigQuery.
  • Query engines: Trino, PrestoDB, Spark Thrift, Hive, Impala, Phoenix, Drill, Druid, Pinot.
  • Colunar / analítico: DuckDB, ClickHouse, Apache Doris, StarRocks.
  • Time-series: QuestDB, IoTDB, InfluxDB 3.x (Flight SQL).
  • Nativos: Neo4j, OpenSearch, Elasticsearch, Cassandra, MongoDB, Kafka, Pulsar.

Catalogação automática ao conectar (ACOC)

Toda criação de conexão automaticamente enfileira uma varredura de catalogação. Não há opt-out para o usuário comum.

O que a varredura faz

  • Introspecção: schemas, tabelas, colunas, índices, labels, coleções, tópicos — conforme o tipo da fonte.
  • Métricas de qualidade: atualidade (último MAX(timestamp)), completude (% de nulos), contagem de valores distintos por coluna e detecção de dados pessoais (CPF, CNPJ, e-mail, cartão e telefone — a lista de padrões é configurável).
  • Amostra de preview: 100 linhas guardadas no cache da plataforma.
  • Publicação no catálogo: cada dataset descoberto é registrado (ou atualizado) no Knowledge Catalog.
  • Trilha de auditoria: CONNECTION.AUTO_CATALOG_STARTED, ..._COMPLETED e ..._FAILED.
  • Progresso em tempo real: a tela acompanha a varredura conforme ela avança.

A varredura não bloqueia nada

A conexão fica utilizável imediatamente após o cadastro retornar. A varredura roda em segundo plano e os datasets vão aparecendo no navegador de datasets à medida que são catalogados.

Limites de proteção (administrador)

PropriedadePadrãoDescrição
datta.acoc.max-tables-per-scan500Limite de tabelas introspectadas.
datta.acoc.max-concurrent-scans4Varreduras simultâneas por instância.
datta.acoc.rate-limit-per-source-per-min60Requisições por minuto para a fonte.
datta.acoc.enabledtrueChave geral (somente ADMIN).
datta.acoc.per-connection-disabledfalseAdministrador pode desabilitar por conexão.

Desabilitar a catalogação automática de uma conexão exige justificativa, que fica registrada na auditoria (CONNECTION.AUTO_CATALOG_DISABLED).

Recatalogação manual

O administrador pode forçar uma nova varredura a qualquer momento — útil para capturar mudanças de estrutura (DDL) na fonte. A ação é restrita ao perfil de administrador.


Visibilidade: quem vê qual conexão

VisibilidadeQuem enxerga
PRIVATESomente quem criou a conexão
WORKSPACEQuem criou + usuários explicitamente compartilhados; não vaza entre workspaces
PUBLICTodos os usuários autenticados (criação restrita a administradores)

Os datasets catalogados herdam a visibilidade da conexão — e o administrador pode restringir ainda mais, dataset a dataset.


Credenciais: individuais e protegidas

  • Credenciais nunca são armazenadas em texto claro: o cofre de credenciais da plataforma usa criptografia em envelope (chave mestra guardada como segredo da instalação, com uma chave de dados por vínculo).
  • Cada usuário tem a sua: duas pessoas podem usar a mesma conexão física com credenciais diferentes, cada uma com o seu nível de acesso na fonte.
  • Rotação: o administrador pode forçar rotação global — os usuários são avisados e a senha é pedida de novo na próxima operação. Rotacionar a sua credencial altera apenas o seu vínculo, sem afetar mais ninguém.

Impressão digital e deduplicação

fingerprint = sha256(tipo + "|" + host + "|" + porta + "|" + database + "|" + usuário)

Repare: a credencial não entra na impressão digital. É isso que garante que, se Ana e Bob cadastrarem postgres://analytics.local:5432/warehouse com usuários diferentes, exista uma conexão no catálogo e dois vínculos de credencial.


Editar, revogar e rotacionar

  • Editar: altera host, porta ou configuração. Se a mudança apontar para outra fonte física, ela gera uma nova impressão digital — logo, uma nova conexão — e a antiga é marcada como deprecada.
  • Revogar: marca a conexão como REVOKED. Todos os scripts DATTAX que a referenciam passam a falhar com mensagem explicativa em português, nunca com erro críptico.
  • Rotacionar credencial: altera somente o vínculo de credencial do usuário atual.

Toda mutação gera evento de auditoria: CONNECTION.CREATE, CONNECTION.UPDATE, CONNECTION.REVOKE e CONNECTION.ROTATE_CREDENTIAL.


Tipos de fonte suportados (resumo)

CategoriaExemplosAcesso
Relacional open-sourcePostgreSQL, MySQL, MariaDB, SQLite, H2, Derby, HSQLDBJDBC + dialetos
Relacional compatívelCockroachDB (→PG), TimescaleDB (→PG), QuestDB (→PG), Azure Synapse (→MSSQL)JDBC
EnterpriseOracle (manual), SQL Server, SAP HANA, Teradata, Db2JDBC
WarehouseSnowflake, Redshift, Databricks (manual)JDBC
Query enginesTrino, PrestoDB, Hive, Impala (manual), Phoenix, DrillJDBC
ColunarDuckDB, ClickHouse, Doris (→MySQL), StarRocks (→MySQL)JDBC
Time-seriesQuestDB, IoTDB, InfluxDB 3.xJDBC + Flight SQL
GrafosNeo4jNativo
BuscaOpenSearch, ElasticsearchNativo
NoSQLCassandra, MongoDBNativo
Warehouse cloudBigQueryNativo (Storage API)
StreamsKafka, PulsarNativo
CDCDebezium (Postgres, MySQL, SQL Server)Nativo via Kafka
ArquivosCSV / Parquet / JSON / TSV no armazenamento da plataformaNativo

A lista completa de drivers, com instalação e governança, está no guia de drivers JDBC.


Solução de problemas

"Não foi possível conectar" ao criar

  • Confirme que o host é alcançável a partir da plataforma (rede, túnel, firewall) e que porta, banco e credencial estão corretos.
  • Erro de handshake TLS: desmarque a opção de TLS ou peça ao administrador para confiar no certificado da fonte.
  • Por segurança, a plataforma mantém uma lista de hosts permitidos (proteção contra SSRF); o administrador pode ampliá-la na configuração da instalação.

A varredura travou ou falhou

  • A tela mostra o estado da varredura em andamento para cada conexão.
  • O administrador pode reenfileirar a varredura pela própria tela.
  • Se os limites de proteção descritos acima foram atingidos, a varredura é adiada e retomada automaticamente.

Credencial expirada

  • O diálogo mostra: "Sua credencial expirou. Informe novamente a senha para continuar."
  • Só o seu vínculo de credencial é afetado; os demais usuários seguem trabalhando.

Conexão órfã (sem usuário vinculado)

  • Acontece quando o último usuário com vínculo é desativado.
  • O administrador consegue listar as conexões órfãs e, a partir daí, revogá-la ou reatribuí-la a outro usuário pela tela de conexões.

Automação

Tudo o que a tela faz — criar, criar de forma idempotente, listar, consultar o detalhe, testar, recatalogar, acompanhar o progresso e revogar conexões, além de reatribuir vínculos de credencial — também está disponível pela API da plataforma. Os caminhos, parâmetros e permissões estão na referência de API.


Referências

  • Drivers JDBC.
  • Acesso a dados.
  • Runbook operacional de conexões.