新規追加
分析: データチェックを追加
処理結果に対してデータ品質チェックを行う「データチェック」タスクを追加しました。
COUNT・AVG・MAX などの集計指標を算出し、設定した条件式と照合することで、結果に応じてワークフローの挙動(後続タスクのスキップ、異常終了)を制御することができます。
件数ゼロや異常値・NULL過多のデータが後続のデータウェアハウスや BIツールに流入するリスクを防ぎ、データ品質保証を自動化できます。
活用例
- 特定のフィールドにNULLが1件以上ある場合に、ワークフローをエラーとして終了させる
- 重複するレコードが1件以上あった場合に、ワークフローをエラーとして終了させる
- ストレージから取得した処理対象のファイルが0件だった場合に、後続の処理をスキップしてワークフローを正常終了させる
Reckoner API: アクセストークン発行を追加
リフレッシュトークンを利用して、アクセストークンの発行がReckoner APIから行えるようになりました。
アクセストークンの有効期限切れ時に自動で再取得するフローの構築などに活用できます。
アクセストークン発行時にリフレッシュトークンあり、なしを選択して発行することができます。
機能拡張
ワークフロータスクの上限数を 30 から 40 に引き上げ
内部処理のパフォーマンス改善に取り組んだ結果、1つのワークフロー内に作成できるタスクの上限数を 30 から 40 に引き上げました。
これまで上限に達していたワークフローでも、さらに多くのタスクを追加できるようになります。
より大規模・複雑なデータパイプラインを1つのワークフローにまとめて管理したい場合にご活用ください。
シンク: MySQL に 削除/洗い替え モードを追加
シンクのMySQLに、洗い替え(Truncate Insert)と削除(Delete)の書き込みモードを追加しました。
- Truncate Insert: テーブルの全データを削除してから新しいデータを挿入します
- Delete: キーフィールドの値が一致する行を削除します
既存のInsert・Upsertと合わせて、用途に応じた書き込み方法を選択できます。