深度學習在音樂自動標注中的應用.pdf

1、在音樂標注領域，傳統(tǒng)標注模型總是遵循一種固定的方式:從一組注釋的歌曲出發(fā)，這組歌曲由音頻的特征向量來表示，由此學習一系列對應不同標注的模型來進行預測。這種方式存在很大冗余;另一方面，大規(guī)模數據集的出現為模型設計帶來了新的思路。因此，本文從近年興起的深度學習入手，結合大規(guī)模的訓練數據，探索更加簡潔和準確的標注手段。
　　具體來說，本文首先基于自動音樂標記研究的典型數據集:Magnatagatune數據集，對應不同的特征輸入（梅爾頻譜

2、圖、頻譜圖、梅爾頻譜系數、原始音頻）設計了3種不同結構的卷積神經網絡模型，對比了它們在同一數據集(Magnatagatune數據集)上的效果，發(fā)現梅爾頻譜圖、原始音頻比頻譜圖以及梅爾頻譜系數等特征在音頻自動標記上有明顯優(yōu)勢。然后我們設計了可視化模型來觀察訓練好的模型參數中不同層的卷積核對怎樣的輸入有最強的響應，并且可視化了這些響應。同時我們設計了不同深度的深度學習網絡，在更大的數據集MSD(Million Song Dataset)的帶

3、標記的子數據集(last.fm)上進行了試驗，發(fā)現在更大的數據集上，層數更深的模型明顯優(yōu)于淺的模型，該結果與計算機視覺領域的最新研究成果相吻合。同時，通過對比相同模型在不同數據集上的表現，我們能清晰地看到數據集大小的提升對于不同深度模型效果的重要影響。
　　本文的貢獻主要包括:
　　(1)設計了多種結構的音樂自動標記的深度學習模型，在Magnatagatune數據集上對比了不同音頻的中低層特征作為模型輸入的效果，發(fā)現梅爾頻譜

4、圖模型、原始音頻模型的效果明顯優(yōu)于頻譜圖模型、梅爾頻譜系數模型。同時，我們設計的原始音頻模型在該數據集上取得了優(yōu)于先前工作的AUC(Area Under Curve)。
　　(2)在更大的數據集MSD上對比了不同深度的模型的效果，發(fā)現深度更深的模型在更大的數據集上明顯表現出優(yōu)勢，同時也啟發(fā)我們數據集的大小對于發(fā)掘深度學習模型實際效果和潛力的重要影響。
　　(3)可視化已訓練好的模型，發(fā)現在梅爾頻譜圖模型中更高的卷積層中的卷積