Pipelines que rodam sozinhos
Encadeie etapas SQL num pipeline, agende e acompanhe cada execução. A Dataspheres orquestra a execução com o Dagster e registra a linhagem de cada tabela que ele grava.
- Dagster
- Spark e Kyuubi
- OpenLineage
- Marquez
Como os pipelines funcionam
Etapas SQL em ordem
Cada etapa é um comando SQL. Reordene as etapas, rode uma sozinha para testar ou faça um dry run do pipeline inteiro.
- O mesmo SQL que você escreve no editor
- Teste uma etapa antes de salvar
- Dry run sem gravar nas tabelas
Agendamento
Defina um agendamento cron e o Dagster roda o pipeline na hora certa, mesmo sem ninguém logado.
- Expressão cron validada ao salvar
- Uma execução ativa por pipeline
- Cancele uma execução em andamento
Histórico de execuções
Cada execução guarda status, duração e o resultado de cada etapa, para você ver onde uma falha aconteceu.
- Pendente, executando, concluído, falhou ou cancelado
- Resultado etapa a etapa de cada execução
- Filtro de execuções por status
Linhagem e compartilhamento
O OpenLineage registra quais tabelas cada pipeline lê e grava. Compartilhe um pipeline com outras pessoas e escolha o que elas podem fazer.
- Aba de linhagem em todo pipeline
- Compartilhado com pessoas ou perfis
- Tags para organizar os pipelines por assunto
Veja a Dataspheres com os seus dados
Agende uma demonstração e mostramos o caminho completo, da fonte ao chat.