Engenharia de dados
Criei o painel que opera 106 DAGs de coleta, ETL e publicação na empresa em que trabalho: tudo em uma tela, sem SSH nem JSON editado à mão.
Telas reais
Capturas reais de 10/10/2026. Logotipo, endereço interno e nomes de redes e lojas foram trocados na própria imagem.
Tela 1 de 7
A primeira tela responde o que importa: quantas DAGs existem, o que está rodando agora e o que falhou nas últimas 24 horas.
Tela 2 de 7
Coleta, banco SQL, produto e central ficam separados. Cada projeto abre só as suas DAGs, com execuções e falhas do dia.
Tela 3 de 7
Busca, filtro por situação e as quatro últimas execuções de cada DAG em cores. Ao lado ficam o agendamento, a próxima execução e a duração.
Tela 4 de 7
Próxima execução, agendamento, pico de memória e duração. No meio, o progresso da coleta: EANs coletados, corredores concluídos e páginas varridas.
Tela 5 de 7
Filtro por nível, busca, rolagem automática e download. A linha final do coletor resume a execução inteira.
Tela 6 de 7
Cada linha abre a tarefa, as tentativas e o log daquela execução específica.
Tela 7 de 7
Telemetria de memória e duração por DAG, para saber o que pode rodar ao mesmo tempo sem derrubar a máquina.
O desafio
A mesma instalação do Airflow reúne DAGs de quatro projetos. Acompanhar uma execução, achar o log certo ou mudar um horário exigia conhecer a interface técnica do Airflow e, em alguns casos, acessar o servidor.
A solução
Criei um Control Center próprio sobre o Apache Airflow 3: catálogo de DAGs separado por projeto, tela operacional com executar, pausar e cancelar, logs ao vivo por tentativa, histórico, consumo de memória e edição visual de horários. O Airflow continua sendo o orquestrador; o painel é a camada de operação.
Como funciona
Plugins do Airflow acrescentam páginas autenticadas que consultam os metadados pelo projeto de origem de cada DAG. A edição de horário valida a expressão, faz backup e grava a configuração de forma atômica; o Airflow relê o arquivo e aplica o novo agendamento na mesma DAG, no fuso de Brasília. Cada publicação do painel passa por um workflow com verificações e rollback automático.
Quem dispara
Apache Airflow 3
106 DAGs em 4 projetos
Control Center
Experimente
Em resumo
Minha parte
Criei e implementei o projeto: as DAGs, o painel (visão geral, catálogo por projeto, tela da DAG, logs ao vivo, histórico e recursos), a edição de horários, as validações e o fluxo de deploy.
Resultado e situação
Hoje o painel mostra 106 DAGs em quatro projetos: 59 de coleta de preços, 43 de banco SQL, 2 de publicação do produto e 2 da central de dados. As telas acima são do sistema em produção; a simulação abaixo usa dados fictícios.
Contexto do projeto
Projeto real, criado por mim para a empresa em que trabalho hoje. O código é privado. Nas imagens, o logotipo, os nomes das redes e lojas monitoradas e o endereço interno foram removidos no próprio arquivo.