AWS・Snowflake・Databricks・BigQuery・Microsoft Fabricなど、主要なデータ基盤とOSSの公式情報をお届けします。
最終更新：
全15件 · 1〜10件を表示
October 02, 2026
BigQuery用Rust SDKが一般提供（GA）となりました。また、データエンジニアリングエージェントがUS、EU、グローバルのマルチリージョンエンドポイントにおいて、gemini-3.7-flashモデルをサポートするようになりました。
BigQuery用Rust SDKが一般提供（GA）に移行しました。データエンジニアリングエージェントがUS、EU、グローバルのマルチリージョンエンドポイントでgemini-3.7-flashモデルをサポートするようになりました。
Rust SDKの一般提供開始により本番環境での利用が本格化し、エージェント機能では複数リージョンでのモデル選択肢が拡充されました。
BigQueryをRustで利用している開発者や、指定されたマルチリージョンでデータエンジニアリングエージェントの新規モデルを利用したい読者の参考になります。
JDBC Unity Catalog connections are now generally available
JDBC Unity Catalog connections が、サーバーレスコンピュート、Databricks Runtime 19以上、およびSQLウェアハウス 2025.40以上で一般提供（GA）が開始されました。SSL証明書のサポートを含み、OAuth M2M認証は引き続きベータ版として提供されます。
サーバーレスコンピュート、Databricks Runtime 19以上、SQLウェアハウス 2025.40以上において、JDBC Unity Catalog connections が一般提供（GA）となり、SSL証明書のサポートが追加されました。OAuth M2M認証はベータ版のままとなっています。
特定のコンピュート環境やSQLウェアハウスでJDBC Unity Catalog connectionsが利用可能になり、SSL証明書のサポートを含む機能が一般提供されたことで、接続環境の選択肢が広がります。
Databricksのサーバーレスコンピュート、Databricks Runtime 19以上、またはSQLウェアハウス 2025.40以上を利用しており、JDBC Unity Catalog connectionsやSSL証明書サポートを検証・導入したい読者に参考になります。
OpenJev (Qwen3.5 4B) is now available on Unity Gateway
OpenJev (Qwen3.5 4B) が、従量課金制（ペイ・パー・トークン）のモデルサービスとして Unity Gateway で利用可能になりました。TypeSafe System One APIを使用して、はい/いいえ、選択肢、スコアリングの質問を評価し、構造化された回答と確率を取得できます。顧客は適用されるモデル規約への準拠を確認する責任があります。
Unity Gatewayにおいて、OpenJev (Qwen3.5 4B) が従量課金制のモデルサービスとして提供され、TypeSafe System One APIを通じたはい/いいえ、選択肢、スコアリングの質問評価や構造化された回答・確率の取得が可能になりました。
Unity Gateway上で新しいモデルが利用できるようになり、特定のAPIを用いた質問評価や構造化データの取得が行えるようになります。
Unity Gateway上でOpenJev (Qwen3.5 4B)を活用した質問評価や構造化回答の取得を検討している読者に参考になります。
Oct 2, 2026: Snowflake Native Apps: Observability for Cortex Agents
Snowflake Native App上のCortex Agentsのオブザーバビリティ機能が更新され、イベントログ記録時の知的所有権保護とエージェントテレメトリーのイベント共有機能が追加されました。アプリがRESTのagent:run APIまたはSQLのDATA_AGENT_RUNを通じて実行を開始する際、Snowflakeはコンシューマーのイベントテーブルレコードに書き込む前にオーケストレーターが作成したコンテンツをマスクします。また、コンシューマーがイベント共有を有効にすると、プロバイダーはデフォルトでAI_METADATA共有レベルで、またはコンシューマーがSHARE_AI_OBSERVABILITY_CONTENTアプリ仕様を承認した場合はAI_CONTENT共有レベルでエージェントテレメトリーを受信できるようになります。
RESTのagent:run APIまたはSQLのDATA_AGENT_RUNを通じた実行時に、コンシューマーのイベントテーブルレコードへの書き込み前にオーケストレーター作成コンテンツがマスクされる知的所有権保護機能が追加されました。また、コンシューマーがイベント共有を有効にした際、プロバイダーがデフォルトのAI_METADATA共有レベル、または承認後のAI_CONTENT共有レベルでエージェントテレメトリーを受信できるイベント共有機能が導入されました。
Snowflake Native AppにおけるCortex Agentsの利用において、イベントログ記録時の知的所有権の保護と、プロバイダーへのエージェントテレメトリーの共有を管理できるようになります。
Snowflake Native AppとCortex Agentsを使用しており、イベントログの保護やテレメトリーデータの共有機能を検証・導入したい開発者や運用担当者に参考になります。
Cross-engine attribute-based access controls (ABAC) is now generally available
クロスエンジン属性ベースアクセス制御（ABAC）が一般提供を開始しました。サポートされている外部エンジンは、Unity Catalogで管理されたテーブルに対して、Databricksサーバレスコンピュートによって適用されるABACポリシー、行フィルター、列マスクを伴う読み取りが可能になります。要件やサポートされるクライアント、サーバレスコンピュートのコストについては、該当ドキュメントを参照してください。
クロスエンジン属性ベースアクセス制御（ABAC）が一般提供となり、サポートされている外部エンジンが、Databricksサーバレスコンピュートによって適用されるABACポリシー、行フィルター、列マスクを含むUnity Catalog管理テーブルを読み取れるようになりました。
Databricksサーバレスコンピュートにより適用されるABACポリシーや行・列レベルの制限を伴うテーブルアクセスを、外部エンジンからもサポートできるようになりました。
Unity Catalogを活用しつつ、複数の外部エンジンからサーバレスコンピュート経由でABACやフィルタリング機能を利用する環境の要件やコストを確認したい読者の参考になります。
Optimize consumer rebalancing on Amazon MSK with next generation protocol
Apache Kafka 4.0以降およびAmazon Managed Streaming for Apache Kafka（Amazon MSK）における、KIP-848次世代コンシューマープロトコルの概要、有効化手順、および低速なリバランスの診断・解決策について解説しています。従来のクライアント主導型プロトコルでは大規模なグループで「リバランスの嵐」や処理の停止が発生していましたが、KIP-848では協調ロジックがブローカー側に移行され、サーバー駆動型のインクリメンタルなリバランスが実現します。これにより、影響を受けるパーティションのみが移動し、割り当てが変更されないコンシューマーは処理を継続できるようになります。記事では、クラスターバージョンの確認、クライアントの設定、非推奨設定の削除、対応するクライアントライブラリの検証という導入手順や、ログを用いたトラブルシューティング方法が示されています。
コンシューマーグループのリバランス制御が、クライアント側のグローバル同期バリアを伴う方式から、KIP-848を用いたサーバー駆動型のインクリメンタルな方式に変更されました。これにより、ハートビート間隔やセッションタイムアウトなどの主要な設定がクライアント側ではなくブローカー側で管理されるようになります。
従来のクラシックプロトコルでは、単一のコンシューマーの参加や離脱でも全コンシューマーの処理が一時停止し、大規模なグループでは「リバランスの嵐」や長時間のリカバリ遅延を引き起こして下流アプリケーションに悪影響を与えていました。
Apache Kafka 4.0以降およびAmazon MSK上で大規模なコンシューマーグループ、高可用性アプリケーション、頻繁にスケーリングを行う環境、または動的なパーティション拡張を運用しており、リバランスの遅延や停止に直面している読者の参考になります。
Apache Sparkのバージョン4.1.4のリリース候補版であるv4.1.4-rc1の準備が進められている。
Sparkのリリース v4.1.4-rc1に向けた準備が行われている。
ソフトウェア開発ライフサイクルにおいて、正式リリース前のテストと検証を行う上でリリース候補版の準備は重要なマイルストーンとなる。
Apache Sparkのリリースプロセスや今後のバージョンを追跡している開発者や利用者の参考になる。
4.2.2
Apache Kafka 4.2.2がリリースされました。
出典を読む ↗ (Apache Kafka Releases)Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。
Sparkリリースv4.2.1-rc1の準備が進められている。
Workday Activity Logging connector (Beta)
WorkdayアクティビティロギングコネクタがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、OAuthリフレッシュトークンを使用した認証を利用し、WorkdayのユーザーアクティビティログイベントをDatabricksへインクリメンタルにインジェストします。
Lakeflow Connectにおいて、WorkdayのユーザーアクティビティログイベントをインクリメンタルにインジェストするWorkdayアクティビティロギングコネクタがベータ版として提供開始されました。認証にはOAuthリフレッシュトークンが使用され、ワークスペース管理者はプレビューページからアクセスを制御できます。
WorkdayのユーザーアクティビティログイベントをDatabricksへ効率的に取り込むための連携機能が提供されたことにより、対応するログデータを活用したワークフローの構築が可能となります。
Databricks環境においてWorkdayのログデータをインクリメンタルに取り込みたいと考えている管理者に参考となる機能です。
Okta System Logs connector is available in Beta
Databricks Lakeflow Connectにおいて、マネージドなOktaシステムログコネクタがベータ版として提供開始されました。このコネクタを使用することで、Oktaシステムログから監査イベントやセキュリティイベントをDatabricksへ増分取り込みできるようになります。認証にはSSWS APIトークンを使用し、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングをサポートしています。
Databricks Lakeflow ConnectにOktaシステムログコネクタがベータ版として追加され、SSWS APIトークン認証による監査・セキュリティイベントの増分取り込み、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングがサポートされるようになりました。
Oktaシステムログの監査およびセキュリティイベントをDatabricksへ効率的に取り込むためのマネージドな手段が提供されることになります。
Databricks Lakeflow Connect環境において、Oktaシステムログの監査やセキュリティイベントをインクリメンタルに取り込むパイプラインを構築したい読者の参考になります。
Microsoft 365 Unified Audit Logs connector is available in Beta
Databricks Lakeflow Connectにおいて、管理型のMicrosoft 365統合監査ログコネクターがベータ版として利用可能になりました。このコネクターを使用することで、Microsoft Entra ID、Exchange、SharePoint、その他のMicrosoft 365ワークロードから統合監査イベントをDatabricksに取り込むことができます。OAuthによるマシン間認証を使用し、インクリメンタルな取り込みをサポートしています。
Databricks Lakeflow ConnectにMicrosoft 365統合監査ログコネクターがベータ版として追加され、Microsoft Entra ID、Exchange、SharePointなどのMicrosoft 365ワークロードからの監査イベントの取り込みが可能になった。また、OAuthマシン間認証を利用したインクリメンタルな取り込みをサポートしている。
Microsoft 365の各種ワークロードやMicrosoft Entra IDから統合監査イベントをDatabricksへ取り込む際に、管理型のコネクターやOAuthマシン間認証、インクリメンタルな取り込み機能を利用できるようになった点に重要性がある。
Microsoft 365ワークロードやMicrosoft Entra IDの監査イベントをDatabricks環境にインクリメンタルに取り込みたいと考えている読者にとって参考になる。
Thinking Machine Labs Inkling is scheduled for retirement
Thinking Machine LabsのInklingは2026年10月30日に提供が終了する予定である。推奨される代替製品としてはGLM 5.3およびKimi K3が挙げられており、移行に関するガイダンスについては提供終了・非推奨モデルのドキュメントを参照することが案内されている。
Thinking Machine Labs Inklingが2026年10月30日に提供終了となる予定であり、代替としてGLM 5.3とKimi K3が推奨されている。
利用しているモデルの提供終了に伴い、移行が必要となるため。
Thinking Machine Labs Inklingを利用しており、代替モデルへの移行や事前確認を進める必要のある読者に参考となる。
CrowdStrike Falcon Event Stream connector (Beta)
CrowdStrike Falcon Event StreamコネクターがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページからこの機能へのアクセスを制御できます。このコネクターは、CrowdStrike FalconからFalcon Event StreamのイベントをDatabricksに取り込みます。認証には、Event streamsの読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報が使用されます。
Lakeflow Connectにおいて、CrowdStrike FalconからFalcon Event StreamイベントをDatabricksに取り込むためのコネクターがベータ版として新たに追加されました。認証方式として、Event streams読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報を使用する仕組みが導入されています。また、ワークスペース管理者はプレビューページからアクセス制御を行えるようになりました。
CrowdStrike Falconで生成されるイベントストリームのデータを、OAuth 2.0認証を用いた安全な接続を通じてDatabricksへ取り込むための仕組みが提供されました。
CrowdStrike FalconのイベントデータをDatabricksに取り込んで分析を行いたいと考えている組織にとって、Lakeflow Connectを利用したデータ取り込み機能の導入検討材料となります。
Akamai WAF connector (Beta)
Lakeflow Connectにおいて、Akamai WAFコネクタがベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、AkamaiのWebアプリケーションファイアウォール（WAF）セキュリティイベントをDatabricksに取り込む機能を提供し、認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。
Lakeflow ConnectにAkamai WAFコネクタがベータ版として追加され、AkamaiからのWAFセキュリティイベントの取り込みが可能になりました。認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。また、ワークスペース管理者はプレビューページから機能へのアクセスを制御できます。
Akamai WAFのセキュリティイベントをDatabricksへ直接取り込む仕組みが提供されたことで、データ基盤への取り込み経路が拡充されました。
Akamai WAFのセキュリティイベントをDatabricks環境にインジェストしたいと考えている組織の参考になります。
1Password Event Logs connector (Beta)
1Password Event Logs コネクターが Lakeflow Connect にベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。このコネクターは、1Password Events API を使用して、監査イベント、アイテムの使用状況、サインイン試行のログを Databricks に取り込みます。認証には Events Reporting ベアラー トークンが使用されます。
Lakeflow Connect に 1Password Event Logs コネクターがベータ版として追加され、プレビューページからワークスペース管理者がアクセス制御を行えるようになりました。1Password Events API を介して監査イベント、アイテムの使用状況、サインイン試行を Databricks に取り込み、認証に Events Reporting ベアラー トークンを利用する仕組みが導入されました。
1Password の監査ログやサインイン試行などのデータを Databricks に取り込むための接続機能が提供された点にあります。
Databricks 環境において 1Password のイベントログや利用状況のデータを統合して分析・管理したい場合に参考になります。
Sep 28, 2026: Inline Stored Procedures for hybrid tables (General availability)
本リリースにより、ハイブリッドテーブル向けのインラインストアドプロシージャが一般提供（GA）開始となりました。インラインストアドプロシージャは、ハイブリッドテーブル上のオプショナルなワークロード向けに設計されたSnowflakeのストアドプロシージャの種類です。プロシージャの本体全体が単一のアトミックな単位として実行され、クエリ処理層に直接プッシュされるため、ステートメントごとのオーバーヘッドが削減され、OLTPスタイルのワークロードで大幅な低レイテンシを実現します。
ハイブリッドテーブル向けのインラインストアドプロシージャが一般提供となり、プロシージャの本体全体が単一のアトミックな単位として実行され、クエリ処理層に直接プッシュされる仕組みが導入されました。
ハイブリッドテーブル上のオプショナルなワークロードにおけるステートメントごとのオーバーヘッドを削減し、OLTPスタイルのワークロードで低レイテンシを実現するため重要です。
SnowflakeのハイブリッドテーブルでオプショナルなワークロードやOLTPスタイルの処理を扱う環境において、インラインストアドプロシージャの一般提供開始とその動作構造を把握したい読者の参考になります。
