Databricksは2026年8月10日(現地時間)、非構造化データをテーブル内でネイティブに保存・処理する新しいカラムタイプ「FILE type」のベータ版を発表した。この新機能は、ドキュメント、画像、音声、動画などのデータを構造化データと同じきめ細かいアクセス制御とセキュリティポリシーの下で管理することを可能にする。これにより、統一されたガバナンスと自動化されたコンプライアンスが実現され、非構造化データの分析と管理が統合される。
FILE typeは、従来のデータレイクハウスにおいて分散していた非構造化データと構造化データの管理を統合することを目指している。Databricksによると、この機能は、行の削除時に対応するファイルのバイナリデータもオブジェクトストレージから自動削除する仕組みにより、GDPRの「忘れられる権利」への対応を簡素化する。
また、FILE typeはSQLおよびPython UDF(ユーザー定義関数)を非構造化ファイルに直接実行できるため、分析パイプライン構築の柔軟性が向上する。パフォーマンス面では、カラムには軽量なポインタのみが格納され、実際のファイル内容はクエリ時に必要に応じて処理される設計となっている。
Databricksは、FILE typeをParquet、Delta Lake、Apache Iceberg、Apache Sparkといったオープンソースエコシステムに組み込むため、コミュニティと協力している。さらに、FILE typeはUnity Catalogと統合されており、行レベルおよびカラムレベルのアクセス制御や属性ベースのアクセス制御(ABAC)によって保護される。これにより、データライフサイクルが同期され、孤立したファイルやコンプライアンスのギャップを防ぐとしている。
具体的な用途例として、企業文書アシスタント、製品画像の視覚検査、通話記録の分析、イベント動画の理解などが挙げられている。
参考: databricks.com (アーカイブ) — 2026年8月11日 00:00 (JST)
原文ハイライト"FILE is a new column type, now in beta, that stores unstructured data"