Nathan Pruyneらは2026年7月9日(現地時間)、自動音楽転写（AMT）モデルの評価精度向上を目指し、ポップミュージックに特化したマルチトラック転写データセット「MulTTiPop（マルティポップ）」を発表した。本データセットは、人気のある音楽セグメント572件と、それに連動するマルチトラックMIDIレコーディングを収録し、合計3.5時間のオーディオデータで構成される。1930年代から2000年代に至る多様なジャンルと年代の楽曲を網羅しており、AMT研究における新たな評価基盤としての役割が期待される。
MulTTiPop（マルティポップ）は、既存の自動音楽転写（AMT）データセットの限界を克服し、特にポップミュージックの複雑な構造に対応するために開発された。従来のデータセットでは、単一楽器のソロ演奏やクラシック音楽に偏りがちであったが、本データセットはボーカル、ドラム、ベース、ギターなどの複数トラックを含むポップ楽曲に焦点を当てている点が大きな特長だ。これにより、より実世界の音楽シーンに即したAMTモデルの開発と評価が可能となる。
データセットの構築にあたっては、まずLakh MIDI（ラーク・ミディ）およびTheoryTab（セオリータブ）データセットから、楽曲のメタデータに基づいた適合セグメントが選定された。次に、オーディオデータとMIDIデータ間の高精度な同期を実現するため、独自のアプローチが採用されている。具体的には、熟練した専門家がオーディオとMIDIの両方で「アンカービート」と呼ばれる基準点を手動で特定。その後、オーディオデータに対してビートトラッキング技術を適用し、その結果に合わせてMIDIデータのテンポとタイミングを柔軟にワープさせることで、両者の精密なアライメントを確立している。この緻密な同期プロセスは、マルチトラックデータセットの品質を保証し、AMTモデルの評価における誤差要因を最小限に抑える上で不可欠な工程であるとされている。
MulTTiPopを用いた最先端のAMTモデルの評価では、現在の技術水準における顕著な課題が浮き彫りになった。特に音の立ち上がりを検出するOnset F1（オンセット・エフワン）スコアは、現在最良とされるモデルでも38%に留まることが確認された。この数値は、ポップミュージック特有の複雑な音響環境、例えば複数の楽器による同時発音、密度の高いリズムパターン、あるいはボーカルと楽器の重なり合いといった要因が、既存モデルにとって依然として大きな障壁であることを示唆している。研究者らは、特に複雑な和音や楽器ごとの音色分離、微妙なリズムのニュアンスといった要素が、モデルの認識精度を大きく左右していると分析している。
この評価結果は、今後の音楽情報処理分野の研究者や機械学習エンジニアに対し、MulTTiPopを新たなベンチマークとして活用し、より高性能なAMTモデルを開発する明確な指針を提供する。具体的には、深層学習モデルのアーキテクチャ改良、マルチトラック分離技術との統合、あるいは異なる楽器の音色や演奏スタイルに対応するためのデータ拡張手法の検討などが考えられる。MulTTiPopが提供する多様な音楽セグメントと高精度なマルチトラックMIDIデータは、これらの課題解決に向けた新たな研究の推進力となるだろう。これにより、将来的に音楽制作支援ツール、自動採譜システム、音楽教育アプリケーションなど、幅広い応用分野での技術革新が期待される。詳細情報およびサウンドサンプルは、関連するウェブプレビューにて提供されている。
参考: arXiv cs.SD (アーカイブ) — 2026年7月10日 02:55 (JST)
原文ハイライト"MulTTiPop: A Multitrack Transcription Dataset for Pop Music"