AWS・Snowflake・Databricks・BigQuery・Microsoft Fabricなど、主要なデータ基盤とOSSの公式情報、関連する研究論文をお届けします。
最終更新：
絞り込み中
全17件 · 1〜10件を表示
Oct 5, 2026: WITH GRANT OPTION for role grants
アカウントロールまたはデータベースロールを別のロールへ付与する際に、WITH GRANT OPTIONを指定できるようになりました。これにより、権限を受け取った側がさらに他のロールへ当該ロールを付与できるようになります。また、REVOKE GRANT OPTION FORを使用して、ロールの付与状態を維持したまま権限の委任オプションのみを削除することが可能です。DEPENDENTな付与がある場合の挙動はCASCADEまたはRESTRICTで制御でき、デフォルトではRESTRICTとして動作します。なお、この機能はロール間の付与に適用され、ユーザーへの付与ではサポートされません。
出典を読む ↗ (Snowflake Release Notes)Run Lakeflow pipelines as a group
パイプラインの実行ID（run-as identity）として、従来のユーザーやサービスプリンシパルに加え、アカウントグループを設定できるようになりました。パイプラインの更新はグループの権限で実行されるため、特定の個人のアカウントに紐付けることなく、チームで自動化されたパイプラインを所有・管理できます。
出典を読む ↗ (Databricks on AWS Release Notes)October 02, 2026
BigQuery用Rust SDKが一般提供（GA）となりました。また、データエンジニアリングエージェントがUS、EU、グローバルのマルチリージョンエンドポイントにおいて、gemini-3.7-flashモデルをサポートするようになりました。
出典を読む ↗ (BigQuery Release Notes)JDBC Unity Catalog connections are now generally available
JDBC Unity Catalog connections が、サーバーレスコンピュート、Databricks Runtime 19以上、およびSQLウェアハウス 2025.40以上で一般提供（GA）が開始されました。SSL証明書のサポートを含み、OAuth M2M認証は引き続きベータ版として提供されます。
出典を読む ↗ (Databricks on AWS Release Notes)OpenJev (Qwen3.5 4B) is now available on Unity Gateway
OpenJev (Qwen3.5 4B) が、従量課金制（ペイ・パー・トークン）のモデルサービスとして Unity Gateway で利用可能になりました。TypeSafe System One APIを使用して、はい/いいえ、選択肢、スコアリングの質問を評価し、構造化された回答と確率を取得できます。顧客は適用されるモデル規約への準拠を確認する責任があります。
出典を読む ↗ (Databricks on AWS Release Notes)Standard ai_extract now delivers higher-quality extraction
ai_extractの標準モードで新しいモデルチェックポイントが使用されるようになり、追加料金なしで2.3倍高速化しつつ、全体的な抽出品質が向上しました。詳細はai_extractのドキュメントをご確認ください。
出典を読む ↗ (Databricks on AWS Release Notes)Oct 2, 2026: Snowflake Native Apps: Observability for Cortex Agents
Snowflake Native App上のCortex Agentsのオブザーバビリティ機能が更新され、イベントログ記録時の知的所有権保護とエージェントテレメトリーのイベント共有機能が追加されました。アプリがRESTのagent:run APIまたはSQLのDATA_AGENT_RUNを通じて実行を開始する際、Snowflakeはコンシューマーのイベントテーブルレコードに書き込む前にオーケストレーターが作成したコンテンツをマスクします。また、コンシューマーがイベント共有を有効にすると、プロバイダーはデフォルトでAI_METADATA共有レベルで、またはコンシューマーがSHARE_AI_OBSERVABILITY_CONTENTアプリ仕様を承認した場合はAI_CONTENT共有レベルでエージェントテレメトリーを受信できるようになります。
出典を読む ↗ (Snowflake Release Notes)Optimize consumer rebalancing on Amazon MSK with next generation protocol
Apache Kafka 4.0以降およびAmazon Managed Streaming for Apache Kafka（Amazon MSK）における、KIP-848次世代コンシューマープロトコルの概要、有効化手順、および低速なリバランスの診断・解決策について解説しています。従来のクライアント主導型プロトコルでは大規模なグループで「リバランスの嵐」や処理の停止が発生していましたが、KIP-848では協調ロジックがブローカー側に移行され、サーバー駆動型のインクリメンタルなリバランスが実現します。これにより、影響を受けるパーティションのみが移動し、割り当てが変更されないコンシューマーは処理を継続できるようになります。記事では、クラスターバージョンの確認、クライアントの設定、非推奨設定の削除、対応するクライアントライブラリの検証という導入手順や、ログを用いたトラブルシューティング方法が示されています。
本文が挙げる適用場面は、多数のコンシューマー・パーティションを持つグループ、処理の中断を避けたい高可用性アプリケーション、頻繁なスケーリングやPod再起動、動的なパーティション追加。
利用する場合はgroup.protocol=consumerを設定し、heartbeat.interval.ms、session.timeout.ms、partition.assignment.strategyをクライアント設定から除く。既存グループはローリング再起動で移行する。対応クライアントはJavaがKafka 4.0以上、confluent-kafka-pythonとlibrdkafkaベースのクライアントが2.12.0以上。
Cross-engine attribute-based access controls (ABAC) is now generally available
クロスエンジン属性ベースアクセス制御（ABAC）が一般提供を開始しました。サポートされている外部エンジンは、Unity Catalogで管理されたテーブルに対して、Databricksサーバレスコンピュートによって適用されるABACポリシー、行フィルター、列マスクを伴う読み取りが可能になります。要件やサポートされるクライアント、サーバレスコンピュートのコストについては、該当ドキュメントを参照してください。
出典を読む ↗ (Databricks on AWS Release Notes)Apache Sparkのバージョン4.1.4のリリース候補版であるv4.1.4-rc1の準備が進められている。
出典を読む ↗ (Apache Spark Releases)4.2.2
Apache Kafka 4.2.2がリリースされました。
出典を読む ↗ (Apache Kafka Releases)Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。
出典を読む ↗ (Apache Spark Releases)
