必要情報
項目名 | 入力条件 | 詳細 |
表示名 | 必須 | タスクの表示名を入力 |
接続情報 | 必須 | 接続情報画面で設定した、Cloud Storageへの接続情報を選択 |
バケット | 必須 | Cloud Storage のバケットを指定 |
パス | 必須 |
パスを指定 ※タイムスタンプを利用する場合は日付フォーマットを含めます |
指定したパスに既にファイルが存在する場合は上書きする | 任意 | ファイルを上書きする場合はチェックをつける |
ファイルとして出力する | 任意 | 入力で受け取った file 型のデータをそのままファイルとして出力する場合はチェックをつける |
ファイル名フィールド | 必須 | ファイル型のフィールドを指定 |
フォーマット | 必須 |
フォーマットを選択 |
圧縮形式 | 任意 |
保存時の圧縮形式を選択 (none / snappy / gzip / deflate) |
ヘッダー行を出力する |
任意 |
ヘッダー行を出力する場合はチェックをつける |
出力データをタイムスタンプフィールドで分割する | 任意 |
出力データをタイムスタンプフィールドで分割する場合はチェックをつける |
タイムスタンプフィールド | 必須 |
出力データをタイムスタンプフィールドで分割する際に使用するタイムスタンプ型のフィールドを指定 |
出力データをタイムスタンプフィールドで分割する機能
この機能を有効にすると、指定したタイムスタンプフィールドの値に基づいて出力データが分割されます。出力先のフォルダパスには、指定されたフォーマットでタイムスタンプ情報が付加されます。
例:
パスに 'output'/yyyy/MM/dd、フォーマットに csv、タイムスタンプフィールドに timestamp を設定する場合、以下の入力データは、次のように分割されて出力されます。
入力データ
id | name | timestamp |
1 | 3-shake_1 | 2024-01-02 00:11:22 |
2 | 3-shake_2 | 2024-01-03 11:22:33 |
※タイムスタンプフィールドで指定される timestamp カラムは、Timestamp 型である必要があります。型変換(String 型 => Timestamp 型)が必要な場合には Transform Field Mapper を利用できます。
出力結果
タイムスタンプで分割された2ファイルを出力します。
・output/2024/01/02.csv
id | name | timestamp |
1 | 3-shake_1 | 2024-01-02 00:11:2 |
・output/2024/01/03.csv
id | name | timestamp |
2 | 3-shake_2 | 2024-01-03 11:22:33 |
タイムスタンプを利用してパスを指定する際の注意点
タイムスタンプを利用してパスに指定する場合には、タイムスタンプと関係のない文字列はシングルクォテーションで囲んでください。
日付時刻フォーマット例
フォーマット | 意味 | 例 |
yyyy |
年(西暦4桁) |
2024 |
MM |
月(2桁) |
11 |
dd |
月における日(2桁) |
28 |
w | 年における週 | 48 |
D | 年における日 | 333 |
E | 曜日の名前 | Thu |
a | 午前/午後 | AM |
HH |
一日における時(24h表記、2桁) |
15 |
hh |
一日における時(12h表記、2桁) |
03 |
mm |
分(2桁) |
01 |
ss |
秒(2桁) |
02 |
SSS | ミリ秒 | 000 |