サイモン・ウィリソン (Simon Willison)氏は2026年11月18日(現地時間)、自身が開発するデータ探索ツールDatasette向けのプラグイン「datasette-arrows 0.1a0」をリリースしたと発表した。このプラグインは、Datasetteがバージョン1.0a43で追加した、プラグインによるストリーミングエクスポート形式の実装機能を利用している。Apache Arrow形式でのデータ出力に対応し、大量のデータをメモリにロードすることなく効率的にエクスポートする。

Datasetteのコア機能は、既にCSVおよびTSV形式でのストリーミングエクスポートをサポートしている。これにより、数百万行に及ぶデータをチャンクで処理し、全てのデータをメモリに読み込むことなく出力することが可能である。今回リリースされたdatasette-arrowsは、このパターンを他のフォーマットにも適用可能にするregister_output_renderer()プラグインフックを活用して開発された。

開発者のウィリソン氏によると、新しいプラグイン機能のリリース時には、実際にその機能を使用するプラグインを伴うべきという考えに基づいているという。このdatasette-arrowsは、Claude Fable 5.2がApache Arrowストリーミング形式を推奨し、ほぼ単独で構築した。

datasette-arrowsプラグインをDatasetteにインストールすることで、エクスポートダイアログに新しいArrowオプションが追加される。現状、Datasetteのメインブランチのスクリーンショットでは、Arrowのようなストリーミング形式がTSVやCSVと同じAll rows in this tableセクションにグループ化されていないが、次期アルファリリースでの対応が予定されている。


参考: Simon Willison’s Weblog (アーカイブ) — 2026年11月19日 02:09 (JST)

原文ハイライト

"Datasette 1.0a43 added the ability for plugins to implement streaming export formats."

この記事をシェア
X はてブ LinkedIn