データエンジニアリング・レーダー

Microsoft Fabric2026-10-05 (日本時間)

NEW Fabric インフルエンサー スポットライト: 2026年9月

Fabric Influencers Spotlight: September 2026

Fabricを導入している人々が今月取り組んでいること、学んでいること、共有している内容を紹介する。

DuckDB2026-10-05 (日本時間)

Javaのテーブル関数を使用したデータのインポート

Importing Data using Java Table Functions

MongoDBに保存されたクライアントの脆弱性データをDuckDBにインポートする際、筆者は維持管理の容易さからJavaベースのパイプラインを選択した。標準のJDBCバッチ挿入やAppenderインターフェースでは性能が不十分であったが、mongoコミュニティ拡張の内部実装を参考にJavaのユーザー定義テーブル関数（DuckDBTableFunction）を実装したことで、最もオーバーヘッドが少なく、mongo拡張と同等のインポート時間を実現する堅牢なJavaパイプラインを構築できた。

Snowflake2026-10-05 (日本時間)

2026年10月5日: ロール権限付与における WITH GRANT OPTION のサポート

Oct 5, 2026: WITH GRANT OPTION for role grants

アカウントロールまたはデータベースロールを別のロールへ付与する際に、WITH GRANT OPTIONを指定できるようになりました。これにより、権限を受け取った側がさらに他のロールへ当該ロールを付与できるようになります。また、REVOKE GRANT OPTION FORを使用して、ロールの付与状態を維持したまま権限の委任オプションのみを削除することが可能です。DEPENDENTな付与がある場合の挙動はCASCADEまたはRESTRICTで制御でき、デフォルトではRESTRICTとして動作します。なお、この機能はロール間の付与に適用され、ユーザーへの付与ではサポートされません。

Databricks2026-10-05 (日本時間)

Lakeflowパイプラインをグループとして実行

Run Lakeflow pipelines as a group

パイプラインの実行ID（run-as identity）として、従来のユーザーやサービスプリンシパルに加え、アカウントグループを設定できるようになりました。パイプラインの更新はグループの権限で実行されるため、特定の個人のアカウントに紐付けることなく、チームで自動化されたパイプラインを所有・管理できます。

BigQuery更新日：2026-10-02 (日本時間)

2026年10月2日

October 02, 2026

BigQuery用Rust SDKが一般提供（GA）となりました。また、データエンジニアリングエージェントがUS、EU、グローバルのマルチリージョンエンドポイントにおいて、gemini-3.7-flashモデルをサポートするようになりました。

Databricks2026-10-02 (日本時間)

Databricks：2026-10-02の更新まとめ（3件）

Snowflake2026-10-02 (日本時間)

2026年10月2日: Snowflake Native Apps: Cortex Agentのオブザーバビリティ

Oct 2, 2026: Snowflake Native Apps: Observability for Cortex Agents

Snowflake Native App上のCortex Agentsのオブザーバビリティ機能が更新され、イベントログ記録時の知的所有権保護とエージェントテレメトリーのイベント共有機能が追加されました。アプリがRESTのagent:run APIまたはSQLのDATA_AGENT_RUNを通じて実行を開始する際、Snowflakeはコンシューマーのイベントテーブルレコードに書き込む前にオーケストレーターが作成したコンテンツをマスクします。また、コンシューマーがイベント共有を有効にすると、プロバイダーはデフォルトでAI_METADATA共有レベルで、またはコンシューマーがSHARE_AI_OBSERVABILITY_CONTENTアプリ仕様を承認した場合はAI_CONTENT共有レベルでエージェントテレメトリーを受信できるようになります。

AWS2026-10-02 (日本時間)

次世代プロトコルを使用したAmazon MSKでのコンシューマーリバランスの最適化

Optimize consumer rebalancing on Amazon MSK with next generation protocol

Apache Kafka 4.0以降およびAmazon Managed Streaming for Apache Kafka（Amazon MSK）における、KIP-848次世代コンシューマープロトコルの概要、有効化手順、および低速なリバランスの診断・解決策について解説しています。従来のクライアント主導型プロトコルでは大規模なグループで「リバランスの嵐」や処理の停止が発生していましたが、KIP-848では協調ロジックがブローカー側に移行され、サーバー駆動型のインクリメンタルなリバランスが実現します。これにより、影響を受けるパーティションのみが移動し、割り当てが変更されないコンシューマーは処理を継続できるようになります。記事では、クラスターバージョンの確認、クライアントの設定、非推奨設定の削除、対応するクライアントライブラリの検証という導入手順や、ログを用いたトラブルシューティング方法が示されています。

Databricks2026-10-01 (日本時間)

クロスエンジン属性ベースアクセス制御（ABAC）が一般提供（GA）開始

Cross-engine attribute-based access controls (ABAC) is now generally available

クロスエンジン属性ベースアクセス制御（ABAC）が一般提供を開始しました。サポートされている外部エンジンは、Unity Catalogで管理されたテーブルに対して、Databricksサーバレスコンピュートによって適用されるABACポリシー、行フィルター、列マスクを伴う読み取りが可能になります。要件やサポートされるクライアント、サーバレスコンピュートのコストについては、該当ドキュメントを参照してください。

Apache Spark更新日：2026-09-29 (日本時間)

v4.1.4-rc1

Apache Sparkのバージョン4.1.4のリリース候補版であるv4.1.4-rc1の準備が進められている。