Engenharia de Dados

Unified Banking Ledger Platform

Plataforma que unificou dois pipelines financeiros separados (banking/PIX e reconciliação de ledger) num só sistema, rodando de minuto em minuto, persistente e orquestrado. Cada domínio de dado (contas, chaves PIX, transações PIX, parceiros, movimentos de ledger, mesa OTC) tem fila produtor-consumidor própria, cursor e marca d'água isolados, e descarrega em lotes de 5 mil registros direto no banco. Endpoints sem filtro nativo de delta usam early-exit: leem do topo e param sozinhos assim que N páginas seguidas já cruzaram a marca d'água salva, sem precisar revarrer o histórico inteiro a cada execução. Saldo de parceiro roda em duas estratégias, delta a cada 15 minutos pra quem movimentou recente e full diário pra todo mundo. Um auditor de ciclo de vida separado corrige status de transação PIX que muda depois de capturada, sem re-escanear nada além do necessário.

python postgresql
Unified Banking Ledger Platform - diagrama de arquitetura
Arquitetura do sistema

Estudo de caso

Problema

Dois sistemas financeiros cresceram separados, cada um com seu próprio modelo de checkpoint, e precisavam virar um só sem perder o que já funcionava. Boa parte dos endpoints não tem filtro de data nativo, então capturar só o que é novo significa ler do início e adivinhar onde parar, ou reprocessar tudo, todo minuto, pra sempre.

Solução

Cada domínio roda isolado, com seu próprio cursor e sua própria marca d'água; uma falha numa "gaveta" não trava as outras. Pra endpoint sem filtro de data, a leitura começa do topo e para sozinha assim que N páginas seguidas caem numa data já coberta antes (early-exit por marca d'água), evitando tanto reprocessar tudo quanto parar cedo demais e perder registro. Saldo de parceiro roda em duas velocidades: delta de 15 minutos pra quem mexeu recente, full diário pra fechar o resto. Um auditor à parte cobre o caso que nenhuma das duas estratégias resolve sozinha: transação que já foi capturada mas muda de status depois; ele lê só a partir da mais antiga ainda pendente, e faz UPSERT no que mudou.

Impacto

Dois pipelines viraram uma plataforma só, cobrindo banking, PIX, parceiros, ledger e mesa OTC (incluindo monitoramento de risco operacional e de liquidação), rodando persistente de minuto em minuto sem depender de reprocessamento manual. Estado por domínio significa que adicionar uma esteira nova não arrisca as que já rodam.

Precisa unificar pipeline bancário, PIX e ledger num só sistema? Vamos desenhar essa plataforma no seu contexto.

Falar sobre seu caso