Aula em andamento — bloco de análise de código e estimativas.
Sobre a Logcomex
A Logcomex é uma empresa brasileira de tecnologia que atua no setor de comércio exterior, desenvolvendo soluções para tornar operações de importação, exportação e logística internacional mais inteligentes, integradas e eficientes. Nasceu no Paraná e se consolidou como referência em tecnologia para comércio exterior no Brasil, com expansão para a América Latina.
Em um negócio baseado em dados, a capacidade de coletar, organizar, validar, processar e disponibilizar informações com qualidade é essencial. Para empresas como a Logcomex, os dados não são apenas suporte à operação: eles fazem parte do próprio produto, da tomada de decisão dos clientes e da inteligência de mercado entregue pela plataforma.
A Logcomex, empresa referência em tecnologia para comércio exterior, precisava preparar seu time de Engenharia de Dados para evoluir uma arquitetura moderna baseada em Data Lakehouse — com mais qualidade, confiabilidade, governança e eficiência operacional.
Para apoiar esse desafio, foi desenvolvido um treinamento in company voltado ao nivelamento técnico e à aplicação prática de ferramentas modernas de Big Data, Data Quality, pipelines, orquestração e arquitetura de dados.
O trabalho abordou desafios reais da operação, como quebras em pipelines, validação de dados, escalabilidade, redução de custos e maior autonomia do time técnico.
O projeto em quatro tempos.
Método STAR — Situação, Tarefa, Ação e Resultado. Em uma passada de olho você sabe o que entregamos e por quê.
Em um mercado altamente dependente de informação, a Logcomex já operava sobre uma arquitetura Data Lakehouse madura — mas o crescimento da operação trazia desafios típicos: mais fontes, mais pipelines, mais produtos dependentes da plataforma, e a necessidade crescente de qualidade, governança e eficiência.
Capacitar o time de Engenharia de Dados para lidar com uma arquitetura cada vez mais estratégica e complexa — reduzindo riscos operacionais, evitando retrabalho e aumentando a confiabilidade das informações que alimentam a plataforma.
Treinamento in company estruturado para o contexto real da Logcomex, conectando cada tecnologia aos desafios concretos da arquitetura da empresa. Conteúdo, demonstrações, discussões técnicas, estudos de caso e troca de experiências.
Capacitação que combinou conhecimento técnico, visão arquitetural e fortalecimento de time. Mais ferramentas e práticas para apoiar a evolução da plataforma — e um time mais alinhado, conectado e preparado para os próximos passos.
“Voltamos desses dias com a cabeça cheia de ideias e o time mais unido do que nunca.”
Para quem quer entrar no mérito.
A partir daqui o conteúdo é técnico — arquitetura, gargalos mapeados, plano de capacitação e ferramentas abordadas.
Situação
A arquitetura de dados da Logcomex já seguia um modelo moderno de Data Lakehouse, utilizando Amazon S3 e Delta Lake como base. As informações vinham de diferentes fontes — HubSpot, PostgreSQL, Google Sheets e sites de comércio exterior coletados por crawlers — ingeridas com Airbyte e organizadas em camadas de tratamento. Para um público não técnico, essa estrutura pode ser entendida em quatro etapas:
Tarefa
O desafio era capacitar o time de Engenharia de Dados para lidar com uma arquitetura cada vez mais estratégica. A proposta tinha cinco objetivos principais, todos com impacto direto em redução de risco, retrabalho e custo operacional:
Ação
A Azuris estruturou e conduziu um treinamento in company voltado ao contexto real da Logcomex. A proposta não foi apenas apresentar ferramentas, mas conectar cada tecnologia aos desafios concretos da arquitetura da empresa. O treinamento abordou a arquitetura atual, os pontos de dor, os caminhos de modernização e o papel de diferentes ferramentas no fortalecimento da plataforma. A abordagem foi ativa — demonstrações, discussões orientadas, estudos de caso, laboratórios guiados e desafios rápidos — aproximando o conteúdo técnico da realidade do time e facilitando a aplicação prática dos conceitos.
Resultado
Uma capacitação que combinou conhecimento técnico, visão arquitetural e alinhamento de equipe. O time da Logcomex teve contato com ferramentas e práticas capazes de apoiar a evolução da plataforma em pontos críticos: qualidade, automação, governança, performance, redução de custos e confiabilidade dos pipelines. Mas o impacto foi além do técnico — incluiu fortalecimento do time, conexão entre as pessoas e novas ideias para evolução da plataforma de dados. Em síntese, o case mostra como uma capacitação bem direcionada pode gerar valor além da sala de aula: ao conectar tecnologia, arquitetura, desafios reais e desenvolvimento de pessoas, a Logcomex fortaleceu sua capacidade interna de evoluir uma plataforma de dados moderna, confiável e preparada para crescimento.
Ferramentas abordadas
Cada ferramenta com bloco prático: introdução, conceitos, casos de uso, demonstração e integração com a stack do cliente.
Great Expectations
1hFerramenta para criar testes automáticos de qualidade de dados. Na prática, ajuda a evitar que dados incompletos, inválidos ou fora do padrão avancem no pipeline e causem problemas em relatórios, sistemas ou produtos.
fit:Testes automáticos antes de promover dados entre camadas do Lakehouse.
Apache Airflow
1hFerramenta de orquestração que organiza e monitora pipelines de dados. Funciona como uma central de controle: define quando cada processo deve rodar, o que fazer em caso de erro e como acompanhar a execução.
fit:Coluna vertebral da orquestração entre Raw, Bronze, Silver e Gold.
Apache Spark
1hTecnologia de processamento distribuído para lidar com grandes volumes de dados. Útil quando os dados são grandes demais para serem processados de forma tradicional.
fit:Motor de processamento entre as camadas do Lakehouse.
dbt
1hFerramenta que organiza transformações de dados com boas práticas de engenharia, documentação e versionamento.
fit:Padronizar transformações analíticas com versionamento e testes.
Apache NiFi
1hFerramenta visual para criação de fluxos de dados. Automatiza integrações, movimenta dados entre sistemas e cria rotas para dados válidos e inválidos.
fit:Roteamento e validação (válidos → S3, inválidos → quarentena) antes do Bronze.
Kafka e Redpanda
1hTecnologias de streaming de dados, usadas quando a empresa precisa trabalhar com eventos em tempo real ou quase real — atualizações contínuas vindas de sistemas, APIs ou fontes externas.
fit:Captura de eventos de HubSpot e sites de comércio exterior em alta vazão.
Apache Iceberg
1hFormato moderno de tabela para Data Lakes. Ajuda a controlar versões dos dados, evolução de schema, auditoria e consultas históricas.
fit:Versionamento e auditoria para governança fim-a-fim no Lakehouse.
MinIO
1hArmazenamento de objetos compatível com S3. Pode ser usado em cenários híbridos, on-premise ou como alternativa para reduzir dependência de nuvem pública.
fit:Reduzir lock-in de nuvem e custo de storage em datasets pesados.
Starburst / Trino
1hMotores de consulta SQL que permitem acessar dados em diferentes fontes sem precisar copiar tudo para um único lugar. Facilitam análises federadas e reduzem movimentação desnecessária de dados.
fit:Substituir queries lentas em Athena/Redshift sem mover dados.
ClickHouse
1hBanco analítico de alta performance, indicado para consultas rápidas sobre grandes volumes de dados. Pode ser usado em BI, métricas, logs, eventos e análises operacionais.
fit:Camada de consumo rápida para dashboards, telemetria e produtos analíticos.