必要情報
項目名 | 入力条件 | 詳細 |
表示名 | 必須 | 任意のタスクの表示名を入力 |
接続情報 |
必須 | 接続情報画面で設定した、BigQueryへの接続情報を選択 |
プロジェクトID | 必須 | 接続するGCPプロジェクトIDを指定 |
データセット | 必須 | 接続するBigQueryのデータセット名を指定 |
テーブル |
必須 |
接続するデータセット内のテーブル名を指定 |
フィルタ | 任意 | 取り込み時間パーティション分割テーブルをフィルタするための条件式を指定 |
フィルタ 機能
テーブルが取り込み時間パーティション分割テーブルで作成されている場合、フィルタを利用することで [_PARTITIONDATE] と [_PARTITIONTIME] 疑似列を使用したデータの絞り込みを行うことができます。
_PARTITIONDATE が 2021-09-10 と等しいデータ
→_PARTITIONDATE = '2021-09-10'
_PARTITIONDATE が 2021-09-11 から 2021-09-12 の間のデータ
→_PARTITIONDATE BETWEEN '2021-09-11' AND '2021-09-12'
_PARTITIONTIME が 2021-09-11 00:00:00 以上でかつ、 2021-09-14 00:00:00 以下のデータ
→_PARTITIONTIME >= '2021-09-11 00:00:00' AND _PARTITIONTIME < '2021-09-14 00:00:00'
作業手順
1.Google Cloud Platform にログインします。取得したいデータのあるプロジェクトIDを選択します。
2.ナビゲーションメニューからBig Queryを選択します。
3.エクスプローラから取得したいデータのデータセットを選択します。
4.データセットに紐づくテーブルから取得したいデータのテーブル名を確認します。
注意事項
接続情報で作成したサービスアカウントのアクセス権が不足していると、入力エリア(データセットやテーブル)が非活性状態やワークフローが実行できませんのでご注意ください。
アクセス権についてはこちらをご確認ください。