pipelines
pipelines copied to clipboard
[fix] change create_table_upload_to_gcs
problema:
- A task create_table_upload_to_gcs usada nos flows primeiro cria o dataset e tabela no bigquery e depois sobe os dados para storage; - Para criar a tabela, precisa do schema. - Para criar o schema a função dump_header_to_csv é utilizada; - Se não existe dado no storage, a função não acha o schema e quebra e execução.
- Caso uma pipeline seja executa e não exista dado no storage, a task create_table_upload_to_gcs vai quebrar.
run com erro: br_ms_sia.producao_ambulatorial