データエンジニアリング・レーダー

AWS2026-10-02 (日本時間)

NEW 次世代プロトコルを使用したAmazon MSKでのコンシューマーリバランスの最適化

Optimize consumer rebalancing on Amazon MSK with next generation protocol

Apache Kafka 4.0以降およびAmazon Managed Streaming for Apache Kafka（Amazon MSK）における、KIP-848次世代コンシューマープロトコルの概要、有効化手順、および低速なリバランスの診断・解決策について解説しています。従来のクライアント主導型プロトコルでは大規模なグループで「リバランスの嵐」や処理の停止が発生していましたが、KIP-848では協調ロジックがブローカー側に移行され、サーバー駆動型のインクリメンタルなリバランスが実現します。これにより、影響を受けるパーティションのみが移動し、割り当てが変更されないコンシューマーは処理を継続できるようになります。記事では、クラスターバージョンの確認、クライアントの設定、非推奨設定の削除、対応するクライアントライブラリの検証という導入手順や、ログを用いたトラブルシューティング方法が示されています。

Apache Spark更新日：2026-09-29 (日本時間)

v4.1.4-rc1

Apache Sparkのバージョン4.1.4のリリース候補版であるv4.1.4-rc1の準備が進められている。

Apache Kafka更新日：2026-09-28 (日本時間)

Apache Kafka 4.2.2

4.2.2

Apache Kafka 4.2.2がリリースされました。

Apache Spark更新日：2026-09-28 (日本時間)

v4.2.1-rc1

Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。

Databricks2026-09-28 (日本時間)

Databricks：2026-09-28の更新まとめ（7件）

Snowflake2026-09-28 (日本時間)

2026年9月28日: ハイブリッドテーブル向けインラインストアドプロシージャ（一般提供開始）

Sep 28, 2026: Inline Stored Procedures for hybrid tables (General availability)

本リリースにより、ハイブリッドテーブル向けのインラインストアドプロシージャが一般提供（GA）開始となりました。インラインストアドプロシージャは、ハイブリッドテーブル上のオプショナルなワークロード向けに設計されたSnowflakeのストアドプロシージャの種類です。プロシージャの本体全体が単一のアトミックな単位として実行され、クエリ処理層に直接プッシュされるため、ステートメントごとのオーバーヘッドが削減され、OLTPスタイルのワークロードで大幅な低レイテンシを実現します。

Databricks2026-09-27 (日本時間)

使用量追跡にセッションメタデータとトークン詳細を追加（パブリックプレビュー）

Usage tracking adds session metadata and token details (Public Preview)

system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータと呼び出し元が追加されました。また、新しいトークン詳細フィールドにより、5分および1時間のプロンプトキャッシュに書き込まれたトークン、ファイル検索数、ウェブ検索数が取得可能になりました。

Databricks2026-09-25 (日本時間)

Databricksのダッシュボード・ノートブック・アプリ・Genieエージェントへのタグ付けが一般提供に

Tags for dashboards, notebooks, Databricks apps, and Genie Agents are now generally available

ダッシュボード、ノートブック、Databricksアプリ、Genieエージェントに対してタグを適用し、ワークスペースの資産を整理およびカテゴリ分けできる機能が一般提供（GA）開始された。統制されたタグ（governed）および統制されていないタグ（ungoverned）の両方のキーバリュータグがサポートされており、Unity Catalogのセキュリティ保護可能オブジェクトへのタグ適用ドキュメントを参照できる。

AWS2026-09-25 (日本時間)

Delivery HeroがApache Flinkでリアルタイム広告計測を再構築した方法

How Delivery Hero rebuilt real-time ad measurement with Apache Flink

Delivery Heroは、広告計測基盤を毎時バッチ中心の構成から、Amazon Managed Service for Apache Flinkによるストリーミング処理へ移行した。同社の事例では、イベント発行から記録までの平均時間が61分から1.2秒に短縮され、月間運用コストが約57%削減された。重複排除、非同期のデータ補完、複数日にわたる広告接触と注文の紐付けを行い、セッションIDなどの欠損も改善した。集計結果は5分ごとにレポート用データベースへ書き込む。

Snowflake2026-09-24 (日本時間)

SnowflakeのDCM Projectsの機能更新

Sep 24, 2026: DCM Projects capability updates

DCM Projectsの機能更新に関するリリース情報であり、いくつかの機能が一般提供（GA）およびプレビューとして利用可能になったことが発表されています。一般提供となった機能には、CREATE OR ALTER PIPEやCREATE OR ALTER STREAMなどの定義文や、権限の継承、コンテナレベルのMANAGE GRANTSが含まれます。また、プレビュー版として、プロジェクトアセットのインポートや、Code Bundles、Streamlitアプリなどを宣言的に管理する機能が追加されています。