v4.2.1-rc1
Sparkのリリース「v4.2.1-rc1」の準備が行われていることについて述べています。
詳しく読む
何が変わったか
Sparkリリースv4.2.1-rc1の準備が進められている。
全11件 · 1〜10件を表示
CrowdStrike Falcon Event Stream コネクター（ベータ版）
CrowdStrike Falcon Event Stream connector (Beta)
CrowdStrike Falcon Event StreamコネクターがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページからこの機能へのアクセスを制御できます。このコネクターは、CrowdStrike FalconからFalcon Event StreamのイベントをDatabricksに取り込みます。認証には、Event streamsの読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報が使用されます。
詳しく読む
何が変わったか
Lakeflow Connectにおいて、CrowdStrike FalconからFalcon Event StreamイベントをDatabricksに取り込むためのコネクターがベータ版として新たに追加されました。認証方式として、Event streams読み取り権限を持つCrowdStrike APIクライアントのOAuth 2.0クライアント資格情報を使用する仕組みが導入されています。また、ワークスペース管理者はプレビューページからアクセス制御を行えるようになりました。
なぜ重要か
CrowdStrike Falconで生成されるイベントストリームのデータを、OAuth 2.0認証を用いた安全な接続を通じてDatabricksへ取り込むための仕組みが提供されました。
実務への影響
CrowdStrike FalconのイベントデータをDatabricksに取り込んで分析を行いたいと考えている組織にとって、Lakeflow Connectを利用したデータ取り込み機能の導入検討材料となります。
Workdayアクティビティロギングコネクタ（ベータ版）
Workday Activity Logging connector (Beta)
WorkdayアクティビティロギングコネクタがLakeflow Connectでベータ版として利用可能になりました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、OAuthリフレッシュトークンを使用した認証を利用し、WorkdayのユーザーアクティビティログイベントをDatabricksへインクリメンタルにインジェストします。
詳しく読む
何が変わったか
Lakeflow Connectにおいて、WorkdayのユーザーアクティビティログイベントをインクリメンタルにインジェストするWorkdayアクティビティロギングコネクタがベータ版として提供開始されました。認証にはOAuthリフレッシュトークンが使用され、ワークスペース管理者はプレビューページからアクセスを制御できます。
なぜ重要か
WorkdayのユーザーアクティビティログイベントをDatabricksへ効率的に取り込むための連携機能が提供されたことにより、対応するログデータを活用したワークフローの構築が可能となります。
実務への影響
Databricks環境においてWorkdayのログデータをインクリメンタルに取り込みたいと考えている管理者に参考となる機能です。
Thinking Machine Labs Inklingの提供終了予定
Thinking Machine Labs Inkling is scheduled for retirement
Thinking Machine LabsのInklingは2026年10月30日に提供が終了する予定である。推奨される代替製品としてはGLM 5.3およびKimi K3が挙げられており、移行に関するガイダンスについては提供終了・非推奨モデルのドキュメントを参照することが案内されている。
詳しく読む
何が変わったか
Thinking Machine Labs Inklingが2026年10月30日に提供終了となる予定であり、代替としてGLM 5.3とKimi K3が推奨されている。
なぜ重要か
利用しているモデルの提供終了に伴い、移行が必要となるため。
実務への影響
Thinking Machine Labs Inklingを利用しており、代替モデルへの移行や事前確認を進める必要のある読者に参考となる。
Akamai WAF コネクタ (ベータ)
Akamai WAF connector (Beta)
Lakeflow Connectにおいて、Akamai WAFコネクタがベータ版として提供開始されました。ワークスペース管理者はプレビューページから本機能へのアクセスを制御できます。本コネクタは、AkamaiのWebアプリケーションファイアウォール（WAF）セキュリティイベントをDatabricksに取り込む機能を提供し、認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。
詳しく読む
何が変わったか
Lakeflow ConnectにAkamai WAFコネクタがベータ版として追加され、AkamaiからのWAFセキュリティイベントの取り込みが可能になりました。認証にはAkamai EdgeGrid APIクライアント認証情報を使用します。また、ワークスペース管理者はプレビューページから機能へのアクセスを制御できます。
なぜ重要か
Akamai WAFのセキュリティイベントをDatabricksへ直接取り込む仕組みが提供されたことで、データ基盤への取り込み経路が拡充されました。
実務への影響
Akamai WAFのセキュリティイベントをDatabricks環境にインジェストしたいと考えている組織の参考になります。
Microsoft 365統合監査ログコネクターがベータ版で利用可能に
Microsoft 365 Unified Audit Logs connector is available in Beta
Databricks Lakeflow Connectにおいて、管理型のMicrosoft 365統合監査ログコネクターがベータ版として利用可能になりました。このコネクターを使用することで、Microsoft Entra ID、Exchange、SharePoint、その他のMicrosoft 365ワークロードから統合監査イベントをDatabricksに取り込むことができます。OAuthによるマシン間認証を使用し、インクリメンタルな取り込みをサポートしています。
詳しく読む
何が変わったか
Databricks Lakeflow ConnectにMicrosoft 365統合監査ログコネクターがベータ版として追加され、Microsoft Entra ID、Exchange、SharePointなどのMicrosoft 365ワークロードからの監査イベントの取り込みが可能になった。また、OAuthマシン間認証を利用したインクリメンタルな取り込みをサポートしている。
なぜ重要か
Microsoft 365の各種ワークロードやMicrosoft Entra IDから統合監査イベントをDatabricksへ取り込む際に、管理型のコネクターやOAuthマシン間認証、インクリメンタルな取り込み機能を利用できるようになった点に重要性がある。
実務への影響
Microsoft 365ワークロードやMicrosoft Entra IDの監査イベントをDatabricks環境にインクリメンタルに取り込みたいと考えている読者にとって参考になる。
Oktaシステムログコネクタがベータ版で利用可能に
Okta System Logs connector is available in Beta
Databricks Lakeflow Connectにおいて、マネージドなOktaシステムログコネクタがベータ版として提供開始されました。このコネクタを使用することで、Oktaシステムログから監査イベントやセキュリティイベントをDatabricksへ増分取り込みできるようになります。認証にはSSWS APIトークンを使用し、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングをサポートしています。
詳しく読む
何が変わったか
Databricks Lakeflow ConnectにOktaシステムログコネクタがベータ版として追加され、SSWS APIトークン認証による監査・セキュリティイベントの増分取り込み、Declarative Automation BundlesおよびAPIベースのパイプラインオーサリングがサポートされるようになりました。
なぜ重要か
Oktaシステムログの監査およびセキュリティイベントをDatabricksへ効率的に取り込むためのマネージドな手段が提供されることになります。
実務への影響
Databricks Lakeflow Connect環境において、Oktaシステムログの監査やセキュリティイベントをインクリメンタルに取り込むパイプラインを構築したい読者の参考になります。
Databricksのダッシュボード・ノートブック・アプリ・Genieエージェントへのタグ付けが一般提供に
Tags for dashboards, notebooks, Databricks apps, and Genie Agents are now generally available
ダッシュボード、ノートブック、Databricksアプリ、Genieエージェントに対してタグを適用し、ワークスペースの資産を整理およびカテゴリ分けできる機能が一般提供（GA）開始された。統制されたタグ（governed）および統制されていないタグ（ungoverned）の両方のキーバリュータグがサポートされており、Unity Catalogのセキュリティ保護可能オブジェクトへのタグ適用ドキュメントを参照できる。
詳しく読む
何が変わったか
ダッシュボード、ノートブック、Databricksアプリ、Genieエージェントに対して、統制された（governed）および統制されていない（ungoverned）キーバリュータグを適用し、ワークスペースの資産を整理・カテゴリ分けできる機能が一般提供（GA）された。
なぜ重要か
ワークスペース内の多様な資産（ダッシュボード、ノートブック、Databricksアプリ、Genieエージェント等）を適切に整理・カテゴリ分けする必要性に対応するため、キーバリュータグを用いた管理機能が提供された。
実務への影響
ダッシュボードやノートブック、Databricksアプリ、Genieエージェントなどのワークスペース資産の整理やカテゴリ分けを検討している読者に参考になる。
Delivery HeroがApache Flinkでリアルタイム広告計測を再構築した方法
How Delivery Hero rebuilt real-time ad measurement with Apache Flink
Delivery Heroは、広告計測基盤を毎時バッチ中心の構成から、Amazon Managed Service for Apache Flinkによるストリーミング処理へ移行した。同社の事例では、イベント発行から記録までの平均時間が61分から1.2秒に短縮され、月間運用コストが約57%削減された。重複排除、非同期のデータ補完、複数日にわたる広告接触と注文の紐付けを行い、セッションIDなどの欠損も改善した。集計結果は5分ごとにレポート用データベースへ書き込む。
詳しく読む
何が変わったか
同期API呼び出しによるデータ補完と毎時バッチ集計を行う旧構成から、Flink上で展開・復号、重複排除、非同期のデータ補完、アトリビューション、集計を行う構成へ移行した。Kinesis Data Streamsでイベントを取り込み、DynamoDBから参照データを取得し、S3にイベントとチェックポイントを保存する。SQSからKinesisへの転送にはMVPでEventBridge Pipes、本番でFargateを使用した。
なぜ重要か
旧構成では、処理時刻に基づく集計によって遅延到着や順序逆転時に指標のずれが生じ、毎時バッチによって結果の反映も遅れていた。さらに、同期API呼び出しによる拡張性の限界、状態管理に使うデータベースの読み書き負荷、複雑な再処理、イベント情報の欠損が課題だった。正確な広告課金と迅速な広告配信判断を支えるため、これらを改善する必要があった。
実務への影響
秒単位でのリアルタイムな予算ペーシングや広告測定を必要とするアドテクプラットフォームや、大規模なストリーミングデータでステート管理や重複排除、アトリビューション（成果の帰属）処理に課題を持つデータエンジニアやアーキテクトにとって参考になる。
SnowflakeのDCM Projectsの機能更新
Sep 24, 2026: DCM Projects capability updates
DCM Projectsの機能更新に関するリリース情報であり、いくつかの機能が一般提供（GA）およびプレビューとして利用可能になったことが発表されています。一般提供となった機能には、CREATE OR ALTER PIPEやCREATE OR ALTER STREAMなどの定義文や、権限の継承、コンテナレベルのMANAGE GRANTSが含まれます。また、プレビュー版として、プロジェクトアセットのインポートや、Code Bundles、Streamlitアプリなどを宣言的に管理する機能が追加されています。
詳しく読む
何が変わったか
一般提供（GA）として、CREATE OR ALTER PIPE、CREATE OR ALTER STREAM、DEFINE PIPE、DEFINE SHARE、DEFINE STREAM、継承された権限、コンテナレベルのMANAGE GRANTSが利用可能になりました。また、プレビュー版として、DCMプロジェクトマニフェストで宣言されたソースファイルをインポートするプロジェクトアセット、Code Bundlesとそのソースファイルを宣言的に管理するDEFINE CODE BUNDLE、Streamlitアプリとそのインフラ、アクセス制御を宣言的に管理するDEFINE STREAMLITが追加されました。
なぜ重要か
DCM Projectsにおける複数の機能の提供ステータスが更新され、一般提供およびプレビューとして利用可能な機能が拡充された点に重要性があります。
実務への影響
DCM Projectsを利用してパイプラインやストリーム、コードバンドル、Streamlitアプリなどの管理を行っている読者にとって、今回の一般提供およびプレビュー機能の追加状況を確認するための参考になります。