De Notebooks em Python para Contratos em YAML: Como um framework de ingestão declarativa de PBs de dados acelerou a operação do Data Lake
Com ~850 YAMLs e 2 notebooks centrais, implementamos um modelo de ingestão de dados que reduziu o tempo de colocar uma nova fonte/tabela no ar de dias para horas, enquanto melhorava governança e operabilidade.
Davi Campos, André Tayer, Guilherme Oliveira ·