orfeon
orfeon
# WHAT BigQueryでRECORDフィールドの中の一部を最小限の記述で置き換え・削除できるSQLの書き方。 # WHY Google AnalyticsやStackDriver loggigのexportテーブルなどで、ネストされたフィールド(RECORDフィールド)のうち一部だけを置き換えたり削除して新しいテーブルを作りたい場合がある。 だが現状、入れ子となるレコードの一部フィールドだけを直接書き換えるSQLは作れないため、該当RECORDフィールドを外してSTRUCTで作り直すSQLを作る必要がある。 (例: `SELECT * EXCEPT(record), STRUCT(f1, f2, f3 + 1 AS f3) AS record FROM xxx.xxx`) RECORDフィールドが大量の子フィールドを持っていた場合、STRUCT内部で並べるフィールドが多すぎてSQLの保守性が悪化する。 (例: `SELECT * EXCEPT(record), STRUCT(f1,...
# WHAT DataflowのTextIOが途中ファイルを出力する際の注意点をまとめる。 # WHY DataflowでTextIOを使うと途中ファイルを書き出して最後にまとめる挙動をしている。 そのために一見関係ないことで悪影響を及ぼすことがあるのでそうした影響をまとめる。 (凍結したGCSに途中ファイルを書き出して削除しようとしてJobが失敗するなど)
現象は掲題の通り。 Dataset内のML Modelを削除すると解消される。
Modify test codes in private repositories that contain data and logic for internal use so that it can be released to the public.
* Update dependencies * Support float32 data type for spanner * Support avro 1.11
Issue: #101 * add uuid type for avro record * suppor uuid sql type for jdbc source and sink module
## WHAT * Support UUID sql type for jdbc source, sink module. ## WHY * To enhance RDB data transfer.