Data Engineering Radar JP

データエンジニアリングの動きを、日本語で。

掲載記事：3件

AWS Big Data Blog

How Delivery Hero rebuilt real-time ad measurement with Apache Flink

Delivery Heroは、広告計測基盤を毎時バッチ中心の構成から、Amazon Managed Service for Apache Flinkによるストリーミング処理へ移行した。同社の事例では、イベント発行から記録までの平均時間が61分から1.2秒に短縮され、月間運用コストが約57%削減された。重複排除、非同期のデータ補完、複数日にわたる広告接触と注文の紐付けを行い、セッションIDなどの欠損も改善した。集計結果は5分ごとにレポート用データベースへ書き込む。

Amazon Managed Service for Apache FlinkApache FlinkAmazon Kinesis Data StreamsAmazon DynamoDBAmazon S3Amazon EventBridge PipesAWS Secrets ManagerAWS FargateApache Kafka
詳しく読む

何が変わったか

同期API呼び出しによるデータ補完と毎時バッチ集計を行う旧構成から、Flink上で展開・復号、重複排除、非同期のデータ補完、アトリビューション、集計を行う構成へ移行した。Kinesis Data Streamsでイベントを取り込み、DynamoDBから参照データを取得し、S3にイベントとチェックポイントを保存する。SQSからKinesisへの転送にはMVPでEventBridge Pipes、本番でFargateを使用した。

なぜ重要か

旧構成では、処理時刻に基づく集計によって遅延到着や順序逆転時に指標のずれが生じ、毎時バッチによって結果の反映も遅れていた。さらに、同期API呼び出しによる拡張性の限界、状態管理に使うデータベースの読み書き負荷、複雑な再処理、イベント情報の欠損が課題だった。正確な広告課金と迅速な広告配信判断を支えるため、これらを改善する必要があった。

実務への影響

秒単位でのリアルタイムな予算ペーシングや広告測定を必要とするアドテクプラットフォームや、大規模なストリーミングデータでステート管理や重複排除、アトリビューション（成果の帰属）処理に課題を持つデータエンジニアやアーキテクトにとって参考になる。

出典を読む ↗
Databricks on AWS Release Notes

Tags for dashboards, notebooks, Databricks apps, and Genie Agents are now generally available

ダッシュボード、ノートブック、Databricksアプリ、Genieエージェントに対してタグを適用し、ワークスペースの資産を整理およびカテゴリ分けできる機能が一般提供（GA）開始された。統制されたタグ（governed）および統制されていないタグ（ungoverned）の両方のキーバリュータグがサポートされており、Unity Catalogのセキュリティ保護可能オブジェクトへのタグ適用ドキュメントを参照できる。

DatabricksUnity Catalog
詳しく読む

何が変わったか

ダッシュボード、ノートブック、Databricksアプリ、Genieエージェントに対して、統制された（governed）および統制されていない（ungoverned）キーバリュータグを適用し、ワークスペースの資産を整理・カテゴリ分けできる機能が一般提供（GA）された。

なぜ重要か

ワークスペース内の多様な資産（ダッシュボード、ノートブック、Databricksアプリ、Genieエージェント等）を適切に整理・カテゴリ分けする必要性に対応するため、キーバリュータグを用いた管理機能が提供された。

実務への影響

ダッシュボードやノートブック、Databricksアプリ、Genieエージェントなどのワークスペース資産の整理やカテゴリ分けを検討している読者に参考になる。

出典を読む ↗
Snowflake Release Notes

Sep 24, 2026: Code Bundles (Preview)

SnowflakeのCode Bundlesに、Pythonコードをウェアハウス上で直接実行する方法と、Scala・Java・PythonのSparkアプリケーションをバッチジョブとして実行する方法がプレビューで追加された。Spark実行はSnowpark Connectを基盤とする。一方、従来Notebook Projectsとして提供されていたコンピュートプール上のノートブックスケジュール実行は一般提供となった。インライン仕様オーバーライドやREST API・Python API・Snowflake CLIクライアントもプレビューに含まれる。

SnowflakePythonSparkScalaJavaSnowpark ConnectSnowpark Container ServicesREST APISnowflake CLI
詳しく読む

何が変わったか

Code Bundlesの実行方法として、compute_type: warehouse によるPythonコードのウェアハウス実行と、type: spark によるSparkアプリケーションのバッチ実行がプレビューで追加された。コンピュートプール（Snowpark Container Services）上のノートブックスケジュール実行は一般提供となり、インライン仕様オーバーライドとREST API・Python API・Snowflake CLIクライアントはプレビューとして提供される。

なぜ重要か

Code Bundlesでは、Pythonなどの非SQLコードをストアドプロシージャで包まずに実行できる。今回の更新でウェアハウス実行とSparkジョブ実行が加わり、Snowflake上でコードを実行する選択肢が広がる。

実務への影響

Snowflake上でPython処理や既存のSparkアプリケーションを実行したいデータエンジニアに関係する。ウェアハウス実行とSparkジョブ実行はプレビューであり、一般提供となったノートブックスケジュール実行とは提供段階を区別して導入を検討できる。

出典を読む ↗