データエンジニアリング・レーダー

AWS・Snowflake・Databricks・BigQuery・Microsoft Fabricなど、主要なデータ基盤とOSSの公式情報をお届けします。

最終更新:

全14件 · 1〜10件を表示

v4.2.1-rc1

Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。

Apache Spark
詳しく読む

何が変わったか

Sparkリリースv4.2.1-rc1の準備が進められている。

出典を読む ↗ (Apache Spark Releases)

CrowdStrike Falcon Event Stream コネクター(ベータ版)

CrowdStrike Falcon Event Stream connector (Beta)

CrowdStrike Falcon Event StreamコネクターがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページからこの機能へのアクセスを制御できます。このコネクターは、CrowdStrike FalconからFalcon Event StreamのイベントをDatabricksに取り込みます。認証には、Event streamsの読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報が使用されます。

CrowdStrike FalconLakeflow ConnectDatabricks
詳しく読む

何が変わったか

Lakeflow Connectにおいて、CrowdStrike FalconからFalcon Event StreamイベントをDatabricksに取り込むためのコネクターがベータ版として新たに追加されました。認証方式として、Event streams読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報を使用する仕組みが導入されています。また、ワークスペース管理者はプレビューページからアクセス制御を行えるようになりました。

なぜ重要か

CrowdStrike Falconで生成されるイベントストリームのデータを、OAuth 2.0認証を用いた安全な接続を通じてDatabricksへ取り込むための仕組みが提供されました。

実務への影響

CrowdStrike FalconのイベントデータをDatabricksに取り込んで分析を行いたいと考えている組織にとって、Lakeflow Connectを利用したデータ取り込み機能の導入検討材料となります。

出典を読む ↗ (Databricks on AWS Release Notes)

Workdayアクティビティロギングコネクタ(ベータ版)

Workday Activity Logging connector (Beta)

WorkdayアクティビティロギングコネクタがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、OAuthリフレッシュトークンを使用した認証を利用し、WorkdayのユーザーアクティビティログイベントをDatabricksへインクリメンタルにインジェストします。

Lakeflow ConnectWorkdayDatabricks
詳しく読む

何が変わったか

Lakeflow Connectにおいて、WorkdayのユーザーアクティビティログイベントをインクリメンタルにインジェストするWorkdayアクティビティロギングコネクタがベータ版として提供開始されました。認証にはOAuthリフレッシュトークンが使用され、ワークスペース管理者はプレビューページからアクセスを制御できます。

なぜ重要か

WorkdayのユーザーアクティビティログイベントをDatabricksへ効率的に取り込むための連携機能が提供されたことにより、対応するログデータを活用したワークフローの構築が可能となります。

実務への影響

Databricks環境においてWorkdayのログデータをインクリメンタルに取り込みたいと考えている管理者に参考となる機能です。

出典を読む ↗ (Databricks on AWS Release Notes)

Thinking Machine Labs Inklingの提供終了予定

Thinking Machine Labs Inkling is scheduled for retirement

Thinking Machine LabsのInklingは2026年10月30日に提供が終了する予定である。推奨される代替製品としてはGLM 5.3およびKimi K3が挙げられており、移行に関するガイダンスについては提供終了・非推奨モデルのドキュメントを参照することが案内されている。

Thinking Machine Labs InklingGLM 5.3Kimi K3
詳しく読む

何が変わったか

Thinking Machine Labs Inklingが2026年10月30日に提供終了となる予定であり、代替としてGLM 5.3とKimi K3が推奨されている。

なぜ重要か

利用しているモデルの提供終了に伴い、移行が必要となるため。

実務への影響

Thinking Machine Labs Inklingを利用しており、代替モデルへの移行や事前確認を進める必要のある読者に参考となる。

出典を読む ↗ (Databricks on AWS Release Notes)

NEW 1Password Event Logs コネクター (ベータ)

1Password Event Logs connector (Beta)

1Password Event Logs コネクターが Lakeflow Connect にベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。このコネクターは、1Password Events API を使用して、監査イベント、アイテムの使用状況、サインイン試行のログを Databricks に取り込みます。認証には Events Reporting ベアラー トークンが使用されます。

1Password Event Logs connectorLakeflow ConnectDatabricks1Password Events API
詳しく読む

何が変わったか

Lakeflow Connect に 1Password Event Logs コネクターがベータ版として追加され、プレビューページからワークスペース管理者がアクセス制御を行えるようになりました。1Password Events API を介して監査イベント、アイテムの使用状況、サインイン試行を Databricks に取り込み、認証に Events Reporting ベアラー トークンを利用する仕組みが導入されました。

なぜ重要か

1Password の監査ログやサインイン試行などのデータを Databricks に取り込むための接続機能が提供された点にあります。

実務への影響

Databricks 環境において 1Password のイベントログや利用状況のデータを統合して分析・管理したい場合に参考になります。

出典を読む ↗ (Databricks on AWS Release Notes)

Akamai WAF コネクタ (ベータ)

Akamai WAF connector (Beta)

Lakeflow Connectにおいて、Akamai WAFコネクタがベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、AkamaiのWebアプリケーションファイアウォール(WAF)セキュリティイベントをDatabricksに取り込む機能を提供し、認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。

Lakeflow ConnectAkamai WAFDatabricks
詳しく読む

何が変わったか

Lakeflow ConnectにAkamai WAFコネクタがベータ版として追加され、AkamaiからのWAFセキュリティイベントの取り込みが可能になりました。認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。また、ワークスペース管理者はプレビューページから機能へのアクセスを制御できます。

なぜ重要か

Akamai WAFのセキュリティイベントをDatabricksへ直接取り込む仕組みが提供されたことで、データ基盤への取り込み経路が拡充されました。

実務への影響

Akamai WAFのセキュリティイベントをDatabricks環境にインジェストしたいと考えている組織の参考になります。

出典を読む ↗ (Databricks on AWS Release Notes)

Microsoft 365統合監査ログコネクターがベータ版で利用可能に

Microsoft 365 Unified Audit Logs connector is available in Beta

Databricks Lakeflow Connectにおいて、管理型のMicrosoft 365統合監査ログコネクターがベータ版として利用可能になりました。このコネクターを使用することで、Microsoft Entra ID、Exchange、SharePoint、その他のMicrosoft 365ワークロードから統合監査イベントをDatabricksに取り込むことができます。OAuthによるマシン間認証を使用し、インクリメンタルな取り込みをサポートしています。

Microsoft 365 Unified Audit Logs connectorDatabricks Lakeflow ConnectMicrosoft Entra IDExchangeSharePointOAuth
詳しく読む

何が変わったか

Databricks Lakeflow ConnectにMicrosoft 365統合監査ログコネクターがベータ版として追加され、Microsoft Entra ID、Exchange、SharePointなどのMicrosoft 365ワークロードからの監査イベントの取り込みが可能になった。また、OAuthマシン間認証を利用したインクリメンタルな取り込みをサポートしている。

なぜ重要か

Microsoft 365の各種ワークロードやMicrosoft Entra IDから統合監査イベントをDatabricksへ取り込む際に、管理型のコネクターやOAuthマシン間認証、インクリメンタルな取り込み機能を利用できるようになった点に重要性がある。

実務への影響

Microsoft 365ワークロードやMicrosoft Entra IDの監査イベントをDatabricks環境にインクリメンタルに取り込みたいと考えている読者にとって参考になる。

出典を読む ↗ (Databricks on AWS Release Notes)

Oktaシステムログコネクタがベータ版で利用可能に

Okta System Logs connector is available in Beta

Databricks Lakeflow Connectにおいて、マネージドなOktaシステムログコネクタがベータ版として提供開始されました。このコネクタを使用することで、Oktaシステムログから監査イベントやセキュリティイベントをDatabricksへ増分取り込みできるようになります。認証にはSSWS APIトークンを使用し、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングをサポートしています。

Databricks Lakeflow ConnectOkta System Logs
詳しく読む

何が変わったか

Databricks Lakeflow ConnectにOktaシステムログコネクタがベータ版として追加され、SSWS APIトークン認証による監査・セキュリティイベントの増分取り込み、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングがサポートされるようになりました。

なぜ重要か

Oktaシステムログの監査およびセキュリティイベントをDatabricksへ効率的に取り込むためのマネージドな手段が提供されることになります。

実務への影響

Databricks Lakeflow Connect環境において、Oktaシステムログの監査やセキュリティイベントをインクリメンタルに取り込むパイプラインを構築したい読者の参考になります。

出典を読む ↗ (Databricks on AWS Release Notes)

NEW 使用状況トラッキングにセッションメタデータとトークン詳細を追加(パブリックプレビュー)

Usage tracking adds session metadata and token details (Public Preview)

system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータと呼び出し元が含まれるようになりました。また、新しいトークン詳細フィールドにより、5分間および1時間のプロンプトキャッシュに書き込まれたトークン、ファイル検索数、ウェブ検索数が取得可能になります。

system.ai_gateway.usage
詳しく読む

何が変わったか

system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータ、呼び出し元、5分間および1時間のプロンプトキャッシュに書き込まれたトークンを捉える新しいトークン詳細フィールド、ファイルおよびウェブの検索数が追加されました。

なぜ重要か

システムテーブルを通じて、AIモデルの使用状況やキャッシュの利用状況、検索回数などの詳細なメトリクスを把握できるようになります。

実務への影響

AIゲートウェイのモデル使用状況やプロンプトキャッシュの利用状況をトラッキングしたい場合に参考になります。

出典を読む ↗ (Databricks on AWS Release Notes)

NEW 使用量追跡にセッションメタデータとトークン詳細を追加(パブリックプレビュー)

Usage tracking adds session metadata and token details (Public Preview)

system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータと呼び出し元が追加されました。また、新しいトークン詳細フィールドにより、5分および1時間のプロンプトキャッシュに書き込まれたトークン、ファイル検索数、ウェブ検索数が取得可能になりました。

system.ai_gateway.usage
詳しく読む

何が変わったか

system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータ、呼び出し元、5分および1時間のプロンプトキャッシュに書き込まれたトークンの詳細フィールド、ファイル検索数、ウェブ検索数が追加されました。

なぜ重要か

モデルの使用状況やプロンプトキャッシュの利用状況、検索回数を詳細に追跡できるようになります。

実務への影響

system.ai_gateway.usageテーブルを利用してモデルの使用状況やキャッシュ効率、検索の利用状況を把握したい読者の参考になります。

出典を読む ↗ (Databricks on AWS Release Notes)