Databricksは7月16日(現地時間)、データ処理エンジン「Apache Spark 4.2」を発表した。このリリースでは、ネイティブセマンティックレイヤーを提供する「Metric views」によるビジネス指標の一元化、AIネイティブな分析機能の追加、Spark ConnectとPySparkの機能強化、変更データ処理の改善が図られ、データとAIスタックの統合をさらに強化する。これらの機能強化により、AIシステムのデータ品質と一貫性が向上し、AIアプリケーション開発の効率化が期待される。
Apache Spark 4.2は、データとAIスタックの統合を深めることを目指す。本バージョンでは、ガバナンスされたメトリクス、ベクトルおよびトップKプリミティブ、Arrow最適化されたPythonパス、ファーストクラスの変更データキャプチャ（CDC）、堅牢なストリーミングおよび運用基盤が追加された。これにより、AIエージェントへのデータ品質と鮮度を高め、アプリケーションがリモート実行サービスとしてSparkを呼び出しやすくなる。
「Metric views」機能は、Spark SQLにネイティブなセマンティックレイヤーをもたらす。ビジネスメトリクスを一度定義するだけで、ダッシュボード、レポート、アプリケーション、AIツールを通じて一貫して使用することが可能になる。比率や重複排除カウント、維持率のような非加算的なメトリクスも、エンジンが意図した集計セマンティクスを保持することで、異なる粒度での計算における不正確な結果を防ぐ。これにより、SQL、BI、AIにおいて単一の真実の源が提供される。
Spark ConnectとPySparkも強化された。Spark ConnectはgRPCとArrowに基づくプロトコルを通じてクライアントとSparkサーバーを分離し、完全なSparkランタイムや併置されたJVMなしにSparkをノートブック、サービス、開発ツール、AIアプリケーションに組み込みやすくする。Spark 4.2では、RDD APIsの互換性向上、DataFramesの入力サポート、デバッグ機能の改善、エラー伝播、ステータスレポート、YARN cluster modeのサポートなど、Spark Classicとの互換性ギャップが継続して埋められている。Pythonパスでは、Arrow最適化されたPython UDFsの実行がデフォルトで有効になり、既存のUDFsはコードを書き換えることなく高速なカラムナパスを利用できる。Pandas 3.0のサポートも追加された。
Spark SQLには、ベクトル類似度検索、ランキング、時系列分析のための新しいSQLプリミティブが追加された。これには、ベクトル距離および類似度関数、ベクトル正規化、ベクトル集計、そして距離ベースのマッチングのためのトップKランキング結合である「NEAREST BY」が含まれる。また、GEOMETRYおよびGEOGRAPHYタイプとST_* functionsが組み込まれ、外部の空間拡張なしに位置認識分析が可能になる。さらに、SQL検索パスのサポートや、SQLスクリプトでのカーソル宣言、OPEN、FETCH、CLOSEの利用が可能になった。
Spark Declarative Pipelines (SDP)には「Auto CDC」サポートが導入され、ファーストクラスのSCD Type 1 (Slowly Changing Dimensions)処理がSparkに組み込まれた。これにより、変更フィードを消費し、ターゲットテーブルに適用する際に手書きの複雑なマージロジックが不要になり、連続的に変化するデータをより安全かつ正確に処理できるようになる。
参考: databricks.com — 2026年7月16日 16:00 (JST)