v4.2.1-rc1
Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。
詳しく読む
何が変わったか
Sparkリリースv4.2.1-rc1の準備が進められている。
AWS・Snowflake・Databricks・BigQuery・Microsoft Fabricなど、主要なデータ基盤とOSSの公式情報をお届けします。
最終更新:
全14件 · 1〜10件を表示
Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。
Sparkリリースv4.2.1-rc1の準備が進められている。
CrowdStrike Falcon Event Stream connector (Beta)
CrowdStrike Falcon Event StreamコネクターがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページからこの機能へのアクセスを制御できます。このコネクターは、CrowdStrike FalconからFalcon Event StreamのイベントをDatabricksに取り込みます。認証には、Event streamsの読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報が使用されます。
Lakeflow Connectにおいて、CrowdStrike FalconからFalcon Event StreamイベントをDatabricksに取り込むためのコネクターがベータ版として新たに追加されました。認証方式として、Event streams読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報を使用する仕組みが導入されています。また、ワークスペース管理者はプレビューページからアクセス制御を行えるようになりました。
CrowdStrike Falconで生成されるイベントストリームのデータを、OAuth 2.0認証を用いた安全な接続を通じてDatabricksへ取り込むための仕組みが提供されました。
CrowdStrike FalconのイベントデータをDatabricksに取り込んで分析を行いたいと考えている組織にとって、Lakeflow Connectを利用したデータ取り込み機能の導入検討材料となります。
Workday Activity Logging connector (Beta)
WorkdayアクティビティロギングコネクタがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、OAuthリフレッシュトークンを使用した認証を利用し、WorkdayのユーザーアクティビティログイベントをDatabricksへインクリメンタルにインジェストします。
Lakeflow Connectにおいて、WorkdayのユーザーアクティビティログイベントをインクリメンタルにインジェストするWorkdayアクティビティロギングコネクタがベータ版として提供開始されました。認証にはOAuthリフレッシュトークンが使用され、ワークスペース管理者はプレビューページからアクセスを制御できます。
WorkdayのユーザーアクティビティログイベントをDatabricksへ効率的に取り込むための連携機能が提供されたことにより、対応するログデータを活用したワークフローの構築が可能となります。
Databricks環境においてWorkdayのログデータをインクリメンタルに取り込みたいと考えている管理者に参考となる機能です。
Thinking Machine Labs Inkling is scheduled for retirement
Thinking Machine LabsのInklingは2026年10月30日に提供が終了する予定である。推奨される代替製品としてはGLM 5.3およびKimi K3が挙げられており、移行に関するガイダンスについては提供終了・非推奨モデルのドキュメントを参照することが案内されている。
Thinking Machine Labs Inklingが2026年10月30日に提供終了となる予定であり、代替としてGLM 5.3とKimi K3が推奨されている。
利用しているモデルの提供終了に伴い、移行が必要となるため。
Thinking Machine Labs Inklingを利用しており、代替モデルへの移行や事前確認を進める必要のある読者に参考となる。
1Password Event Logs connector (Beta)
1Password Event Logs コネクターが Lakeflow Connect にベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。このコネクターは、1Password Events API を使用して、監査イベント、アイテムの使用状況、サインイン試行のログを Databricks に取り込みます。認証には Events Reporting ベアラー トークンが使用されます。
Lakeflow Connect に 1Password Event Logs コネクターがベータ版として追加され、プレビューページからワークスペース管理者がアクセス制御を行えるようになりました。1Password Events API を介して監査イベント、アイテムの使用状況、サインイン試行を Databricks に取り込み、認証に Events Reporting ベアラー トークンを利用する仕組みが導入されました。
1Password の監査ログやサインイン試行などのデータを Databricks に取り込むための接続機能が提供された点にあります。
Databricks 環境において 1Password のイベントログや利用状況のデータを統合して分析・管理したい場合に参考になります。
Akamai WAF connector (Beta)
Lakeflow Connectにおいて、Akamai WAFコネクタがベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、AkamaiのWebアプリケーションファイアウォール(WAF)セキュリティイベントをDatabricksに取り込む機能を提供し、認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。
Lakeflow ConnectにAkamai WAFコネクタがベータ版として追加され、AkamaiからのWAFセキュリティイベントの取り込みが可能になりました。認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。また、ワークスペース管理者はプレビューページから機能へのアクセスを制御できます。
Akamai WAFのセキュリティイベントをDatabricksへ直接取り込む仕組みが提供されたことで、データ基盤への取り込み経路が拡充されました。
Akamai WAFのセキュリティイベントをDatabricks環境にインジェストしたいと考えている組織の参考になります。
Microsoft 365 Unified Audit Logs connector is available in Beta
Databricks Lakeflow Connectにおいて、管理型のMicrosoft 365統合監査ログコネクターがベータ版として利用可能になりました。このコネクターを使用することで、Microsoft Entra ID、Exchange、SharePoint、その他のMicrosoft 365ワークロードから統合監査イベントをDatabricksに取り込むことができます。OAuthによるマシン間認証を使用し、インクリメンタルな取り込みをサポートしています。
Databricks Lakeflow ConnectにMicrosoft 365統合監査ログコネクターがベータ版として追加され、Microsoft Entra ID、Exchange、SharePointなどのMicrosoft 365ワークロードからの監査イベントの取り込みが可能になった。また、OAuthマシン間認証を利用したインクリメンタルな取り込みをサポートしている。
Microsoft 365の各種ワークロードやMicrosoft Entra IDから統合監査イベントをDatabricksへ取り込む際に、管理型のコネクターやOAuthマシン間認証、インクリメンタルな取り込み機能を利用できるようになった点に重要性がある。
Microsoft 365ワークロードやMicrosoft Entra IDの監査イベントをDatabricks環境にインクリメンタルに取り込みたいと考えている読者にとって参考になる。
Okta System Logs connector is available in Beta
Databricks Lakeflow Connectにおいて、マネージドなOktaシステムログコネクタがベータ版として提供開始されました。このコネクタを使用することで、Oktaシステムログから監査イベントやセキュリティイベントをDatabricksへ増分取り込みできるようになります。認証にはSSWS APIトークンを使用し、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングをサポートしています。
Databricks Lakeflow ConnectにOktaシステムログコネクタがベータ版として追加され、SSWS APIトークン認証による監査・セキュリティイベントの増分取り込み、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングがサポートされるようになりました。
Oktaシステムログの監査およびセキュリティイベントをDatabricksへ効率的に取り込むためのマネージドな手段が提供されることになります。
Databricks Lakeflow Connect環境において、Oktaシステムログの監査やセキュリティイベントをインクリメンタルに取り込むパイプラインを構築したい読者の参考になります。
Usage tracking adds session metadata and token details (Public Preview)
system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータと呼び出し元が含まれるようになりました。また、新しいトークン詳細フィールドにより、5分間および1時間のプロンプトキャッシュに書き込まれたトークン、ファイル検索数、ウェブ検索数が取得可能になります。
system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータ、呼び出し元、5分間および1時間のプロンプトキャッシュに書き込まれたトークンを捉える新しいトークン詳細フィールド、ファイルおよびウェブの検索数が追加されました。
システムテーブルを通じて、AIモデルの使用状況やキャッシュの利用状況、検索回数などの詳細なメトリクスを把握できるようになります。
AIゲートウェイのモデル使用状況やプロンプトキャッシュの利用状況をトラッキングしたい場合に参考になります。
Usage tracking adds session metadata and token details (Public Preview)
system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータと呼び出し元が追加されました。また、新しいトークン詳細フィールドにより、5分および1時間のプロンプトキャッシュに書き込まれたトークン、ファイル検索数、ウェブ検索数が取得可能になりました。
system.ai_gateway.usageシステムテーブルに、コーディングエージェントのセッションメタデータ、呼び出し元、5分および1時間のプロンプトキャッシュに書き込まれたトークンの詳細フィールド、ファイル検索数、ウェブ検索数が追加されました。
モデルの使用状況やプロンプトキャッシュの利用状況、検索回数を詳細に追跡できるようになります。
system.ai_gateway.usageテーブルを利用してモデルの使用状況やキャッシュ効率、検索の利用状況を把握したい読者の参考になります。