Engenharia de dados
Plataforma de inteligência de preços
A central que recebe os preços das DAGs por API e deixa tudo consultável por loja, cidade, UF, EAN e data.
O desafio
Onde tudo começou.
Preço coletado só ajuda quando dá para consultar. Centenas de milhares de registros por dia, vindos de dezenas de lojas, precisam chegar conferidos a uma tela em que qualquer pessoa da área encontra o produto que procura.
A solução
Da ideia à implementação.
As DAGs que criei entregam cada lote à central de forma automática, por API. O dado entra como bruto, passa pela conferência e só então vira produção. A consulta filtra por loja, EAN, descrição, período, faixa de preço, cidade, UF e fonte, mostra só promoções quando preciso e deixa escolher as colunas.
Como funciona
Por dentro do fluxo.
Cada coleta fecha um lote e o envia à API da central. Um job promove o lote de bruto para conferência e de conferência para produção; dados antigos saem do banco ativo para arquivos compactados. Outra API, só de leitura e com chave por cliente, entrega os mesmos preços a outros sistemas e bancos SQL.
- 1Lote da coleta
- 2API da central
- 3Bruto
- 4Conferência
- 5Produção
- 6Consulta e exportação
Do produto ao posicionamento.
Altere produto e preço para comparar. Nenhum dado é enviado.
Em resumo
- Recebe os lotes das DAGs por API
- Bruto, conferência e produção em etapas separadas
- Consulta por loja, cidade, UF, EAN e período
- Exporta para Excel e CSV
- API de leitura para outros sistemas e bancos SQL
Minha parte
Criei o Airflow e as DAGs que alimentam a central de forma automática, por API, e os coletores que geram cada lote.
Resultado e situação
No painel de produção de 10/10/2026, a central registrava 304.091 preços recebidos no dia, todos com EAN. A consulta exporta para Excel e CSV; com esses dados, comparar o mesmo produto entre mercados de uma cidade, de um estado ou do país vira uma tabela dinâmica.
Contexto do projeto
Plataforma corporativa em produção, com código privado. O comparador abaixo é uma demonstração com dados fictícios.