データエンジニアリング・レーダー

AWS・Snowflake・Databricks・BigQuery・Microsoft Fabricなど、主要なデータ基盤とOSSの公式情報、関連する研究論文をお届けします。

最終更新：

全15件 · 1〜10件を表示

Databricks

NEW Databricks：2026-10-02の更新まとめ（3件）

JDBC Unity Catalog connections が一般提供（GA）開始

JDBC Unity Catalog connections are now generally available

JDBC Unity Catalog connections が、サーバーレスコンピュート、Databricks Runtime 19以上、およびSQLウェアハウス 2025.40以上で一般提供（GA）が開始されました。SSL証明書のサポートを含み、OAuth M2M認証は引き続きベータ版として提供されます。

DatabricksUnity CatalogJDBCSQL warehousesDatabricks Runtime
出典を読む ↗ (Databricks on AWS Release Notes)

OpenJev (Qwen3.5 4B) が Unity Gateway で利用可能に

OpenJev (Qwen3.5 4B) is now available on Unity Gateway

OpenJev (Qwen3.5 4B) が、従量課金制（ペイ・パー・トークン）のモデルサービスとして Unity Gateway で利用可能になりました。TypeSafe System One APIを使用して、はい/いいえ、選択肢、スコアリングの質問を評価し、構造化された回答と確率を取得できます。顧客は適用されるモデル規約への準拠を確認する責任があります。

Unity GatewayOpenJev (Qwen3.5 4B)TypeSafe System One API
出典を読む ↗ (Databricks on AWS Release Notes)

Standard ai_extractがより高品質な抽出を実現

Standard ai_extract now delivers higher-quality extraction

ai_extractの標準モードで新しいモデルチェックポイントが使用されるようになり、追加料金なしで2.3倍高速化しつつ、全体的な抽出品質が向上しました。詳細はai_extractのドキュメントをご確認ください。

ai_extract
出典を読む ↗ (Databricks on AWS Release Notes)
BigQuery

2026年10月2日

October 02, 2026

BigQuery用Rust SDKが一般提供（GA）となりました。また、データエンジニアリングエージェントがUS、EU、グローバルのマルチリージョンエンドポイントにおいて、gemini-3.7-flashモデルをサポートするようになりました。

Rust SDK for BigQueryData Engineering Agentgemini-3.7-flashBigQuery
出典を読む ↗ (BigQuery Release Notes)
Snowflake

2026年10月2日: Snowflake Native Apps: Cortex Agentのオブザーバビリティ

Oct 2, 2026: Snowflake Native Apps: Observability for Cortex Agents

Snowflake Native App上のCortex Agentsのオブザーバビリティ機能が更新され、イベントログ記録時の知的所有権保護とエージェントテレメトリーのイベント共有機能が追加されました。アプリがRESTのagent:run APIまたはSQLのDATA_AGENT_RUNを通じて実行を開始する際、Snowflakeはコンシューマーのイベントテーブルレコードに書き込む前にオーケストレーターが作成したコンテンツをマスクします。また、コンシューマーがイベント共有を有効にすると、プロバイダーはデフォルトでAI_METADATA共有レベルで、またはコンシューマーがSHARE_AI_OBSERVABILITY_CONTENTアプリ仕様を承認した場合はAI_CONTENT共有レベルでエージェントテレメトリーを受信できるようになります。

Snowflake Native AppsCortex AgentsSQLREST API
出典を読む ↗ (Snowflake Release Notes)
AWS

次世代プロトコルを使用したAmazon MSKでのコンシューマーリバランスの最適化

Optimize consumer rebalancing on Amazon MSK with next generation protocol

Apache Kafka 4.0以降およびAmazon Managed Streaming for Apache Kafka（Amazon MSK）における、KIP-848次世代コンシューマープロトコルの概要、有効化手順、および低速なリバランスの診断・解決策について解説しています。従来のクライアント主導型プロトコルでは大規模なグループで「リバランスの嵐」や処理の停止が発生していましたが、KIP-848では協調ロジックがブローカー側に移行され、サーバー駆動型のインクリメンタルなリバランスが実現します。これにより、影響を受けるパーティションのみが移動し、割り当てが変更されないコンシューマーは処理を継続できるようになります。記事では、クラスターバージョンの確認、クライアントの設定、非推奨設定の削除、対応するクライアントライブラリの検証という導入手順や、ログを用いたトラブルシューティング方法が示されています。

Amazon MSKApache Kafka
詳しく読む

対象・利用場面

本文が挙げる適用場面は、多数のコンシューマー・パーティションを持つグループ、処理の中断を避けたい高可用性アプリケーション、頻繁なスケーリングやPod再起動、動的なパーティション追加。

対応・確認事項

利用する場合はgroup.protocol=consumerを設定し、heartbeat.interval.ms、session.timeout.ms、partition.assignment.strategyをクライアント設定から除く。既存グループはローリング再起動で移行する。対応クライアントはJavaがKafka 4.0以上、confluent-kafka-pythonとlibrdkafkaベースのクライアントが2.12.0以上。

出典を読む ↗ (AWS Big Data Blog)
Databricks

クロスエンジン属性ベースアクセス制御（ABAC）が一般提供（GA）開始

Cross-engine attribute-based access controls (ABAC) is now generally available

クロスエンジン属性ベースアクセス制御（ABAC）が一般提供を開始しました。サポートされている外部エンジンは、Unity Catalogで管理されたテーブルに対して、Databricksサーバレスコンピュートによって適用されるABACポリシー、行フィルター、列マスクを伴う読み取りが可能になります。要件やサポートされるクライアント、サーバレスコンピュートのコストについては、該当ドキュメントを参照してください。

Unity CatalogDatabricks
出典を読む ↗ (Databricks on AWS Release Notes)
Databricks

Databricks：2026-09-28の更新まとめ（7件）

Workdayアクティビティロギングコネクタ（ベータ版）

Workday Activity Logging connector (Beta)

WorkdayアクティビティロギングコネクタがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、OAuthリフレッシュトークンを使用した認証を利用し、WorkdayのユーザーアクティビティログイベントをDatabricksへインクリメンタルにインジェストします。

Lakeflow ConnectWorkdayDatabricks
出典を読む ↗ (Databricks on AWS Release Notes)

Oktaシステムログコネクタがベータ版で利用可能に

Okta System Logs connector is available in Beta

Databricks Lakeflow Connectにおいて、マネージドなOktaシステムログコネクタがベータ版として提供開始されました。このコネクタを使用することで、Oktaシステムログから監査イベントやセキュリティイベントをDatabricksへ増分取り込みできるようになります。認証にはSSWS APIトークンを使用し、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングをサポートしています。

Databricks Lakeflow ConnectOkta System Logs
出典を読む ↗ (Databricks on AWS Release Notes)

Microsoft 365統合監査ログコネクターがベータ版で利用可能に

Microsoft 365 Unified Audit Logs connector is available in Beta

Databricks Lakeflow Connectにおいて、管理型のMicrosoft 365統合監査ログコネクターがベータ版として利用可能になりました。このコネクターを使用することで、Microsoft Entra ID、Exchange、SharePoint、その他のMicrosoft 365ワークロードから統合監査イベントをDatabricksに取り込むことができます。OAuthによるマシン間認証を使用し、インクリメンタルな取り込みをサポートしています。

Microsoft 365 Unified Audit Logs connectorDatabricks Lakeflow ConnectMicrosoft Entra IDExchangeSharePointOAuth
出典を読む ↗ (Databricks on AWS Release Notes)

Thinking Machine Labs Inklingの提供終了予定

Thinking Machine Labs Inkling is scheduled for retirement

Thinking Machine LabsのInklingは2026年10月30日に提供が終了する予定である。推奨される代替製品としてはGLM 5.3およびKimi K3が挙げられており、移行に関するガイダンスについては提供終了・非推奨モデルのドキュメントを参照することが案内されている。

Thinking Machine Labs InklingGLM 5.3Kimi K3
出典を読む ↗ (Databricks on AWS Release Notes)

CrowdStrike Falcon Event Stream コネクター（ベータ版）

CrowdStrike Falcon Event Stream connector (Beta)

CrowdStrike Falcon Event StreamコネクターがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページからこの機能へのアクセスを制御できます。このコネクターは、CrowdStrike FalconからFalcon Event StreamのイベントをDatabricksに取り込みます。認証には、Event streamsの読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報が使用されます。

CrowdStrike FalconLakeflow ConnectDatabricks
出典を読む ↗ (Databricks on AWS Release Notes)

Akamai WAF コネクタ (ベータ)

Akamai WAF connector (Beta)

Lakeflow Connectにおいて、Akamai WAFコネクタがベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、AkamaiのWebアプリケーションファイアウォール（WAF）セキュリティイベントをDatabricksに取り込む機能を提供し、認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。

Lakeflow ConnectAkamai WAFDatabricks
出典を読む ↗ (Databricks on AWS Release Notes)

1Password Event Logs コネクター (ベータ)

1Password Event Logs connector (Beta)

1Password Event Logs コネクターが Lakeflow Connect にベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。このコネクターは、1Password Events API を使用して、監査イベント、アイテムの使用状況、サインイン試行のログを Databricks に取り込みます。認証には Events Reporting ベアラー トークンが使用されます。

1Password Event Logs connectorLakeflow ConnectDatabricks1Password Events API
出典を読む ↗ (Databricks on AWS Release Notes)
Snowflake

2026年9月28日: ハイブリッドテーブル向けインラインストアドプロシージャ（一般提供開始）

Sep 28, 2026: Inline Stored Procedures for hybrid tables (General availability)

本リリースにより、ハイブリッドテーブル向けのインラインストアドプロシージャが一般提供（GA）開始となりました。インラインストアドプロシージャは、ハイブリッドテーブル上のオプショナルなワークロード向けに設計されたSnowflakeのストアドプロシージャの種類です。プロシージャの本体全体が単一のアトミックな単位として実行され、クエリ処理層に直接プッシュされるため、ステートメントごとのオーバーヘッドが削減され、OLTPスタイルのワークロードで大幅な低レイテンシを実現します。

Snowflakeハイブリッドテーブル
出典を読む ↗ (Snowflake Release Notes)