pipelines icon indicating copy to clipboard operation
pipelines copied to clipboard

[fix] change create_table_upload_to_gcs

Open folhesgabriel opened this issue 2 years ago • 0 comments

problema:

  • A task create_table_upload_to_gcs usada nos flows primeiro cria o dataset e tabela no bigquery e depois sobe os dados para storage; - Para criar a tabela, precisa do schema. - Para criar o schema a função dump_header_to_csv é utilizada; - Se não existe dado no storage, a função não acha o schema e quebra e execução.
  • Caso uma pipeline seja executa e não exista dado no storage, a task create_table_upload_to_gcs vai quebrar.

run com erro: br_ms_sia.producao_ambulatorial

folhesgabriel avatar Mar 25 '24 14:03 folhesgabriel