How Delivery Hero rebuilt real-time ad measurement with Apache Flink
Delivery Heroは、広告計測基盤を毎時バッチ中心の構成から、Amazon Managed Service for Apache Flinkによるストリーミング処理へ移行した。同社の事例では、イベント発行から記録までの平均時間が61分から1.2秒に短縮され、月間運用コストが約57%削減された。重複排除、非同期のデータ補完、複数日にわたる広告接触と注文の紐付けを行い、セッションIDなどの欠損も改善した。集計結果は5分ごとにレポート用データベースへ書き込む。
Amazon Managed Service for Apache FlinkApache FlinkAmazon Kinesis Data StreamsAmazon DynamoDBAmazon S3Amazon EventBridge PipesAWS Secrets ManagerAWS FargateApache Kafka
詳しく読む
何が変わったか
同期API呼び出しによるデータ補完と毎時バッチ集計を行う旧構成から、Flink上で展開・復号、重複排除、非同期のデータ補完、アトリビューション、集計を行う構成へ移行した。Kinesis Data Streamsでイベントを取り込み、DynamoDBから参照データを取得し、S3にイベントとチェックポイントを保存する。SQSからKinesisへの転送にはMVPでEventBridge Pipes、本番でFargateを使用した。
DCM Projectsの機能更新に関するリリース情報であり、いくつかの機能が一般提供（GA）およびプレビューとして利用可能になったことが発表されています。一般提供となった機能には、CREATE OR ALTER PIPEやCREATE OR ALTER STREAMなどの定義文や、権限の継承、コンテナレベルのMANAGE GRANTSが含まれます。また、プレビュー版として、プロジェクトアセットのインポートや、Code Bundles、Streamlitアプリなどを宣言的に管理する機能が追加されています。
DCM ProjectsStreamlit
詳しく読む
何が変わったか
一般提供（GA）として、CREATE OR ALTER PIPE、CREATE OR ALTER STREAM、DEFINE PIPE、DEFINE SHARE、DEFINE STREAM、継承された権限、コンテナレベルのMANAGE GRANTSが利用可能になりました。また、プレビュー版として、DCMプロジェクトマニフェストで宣言されたソースファイルをインポートするプロジェクトアセット、Code Bundlesとそのソースファイルを宣言的に管理するDEFINE CODE BUNDLE、Streamlitアプリとそのインフラ、アクセス制御を宣言的に管理するDEFINE STREAMLITが追加されました。