在音频生成领域，一种名为MAGNET（Masked Audio Generation using Non-autoregressive Transformers）的新技术引起了广泛关注。这种创新方法预示着文本到音乐和文本到音频生成的革命，它以惊人的速度和效率提供高质量的音频输出。MAGNET技术的核心在于其单一非自回归变换器的应用，这与传统方法截然不同。在训练阶段，MAGNET通过一个掩码调度器策略性地预测被掩码的音频标记序列。在推理阶段，通过逐步解码构建输出序列，确保了效率和质量的双重优势。
为了进一步提升生成音频的质量，研究人员引入了一种新颖的重评分方法。这种方法利用外部预训练模型对MAGNET的预测结果进行重评分和排序，这一精细的重评分过程显著提高了音频输出的质量，使MAGNET在传统方法中脱颖而出。
为了进一步优化性能，研究人员探索了MAGNET的混合版本。这种混合模型无缝融合了自回归和非自回归模型。结果是，混合MAGNET在生成初始序列时采用自回归方式，随后对其余序列进行并行解码。这种融合允许联合优化，提供了速度和生成质量之间的无与伦比的平衡。
音频生成技术的演进得益于自监督表示学习、序列建模和音频合成的最新进展。传统上，模型使用音频信号的压缩表示，无论是离散的还是连续的。然而，MAGNET打破了这一模式，直接对原始音频波形应用生成建模，显示出与常规方法的显著不同。