清华 nlp 实验室、openbmb 与面壁智能共同推出并开源 ultraeval-audio——一款专为音频大模型设计的综合性评测框架。该框架不仅构建了覆盖全面、逻辑清晰的音频模型评估方法论，更将其落地为即装即用的工程化工具，有效填补了当前音频领域系统性评测体系与标准化框架的空白，并首次明确定义了结构化的评测范式（如表1所示）。
开源地址：https://www.php.cn/link/5960cf39a08b52bb6025b44882fdda9f
UltraEval-Audio 最新版本 v1.1.0 在延续原有“一键评测”核心能力的基础上，重点强化对主流音频模型的一键复现支持，新增对 TTS、ASR、Codec 等细分任务专用模型及对应专项评测任务的兼容性，并引入隔离式推理执行机制，从工程实践层面显著降低模型复现难度，增强评测流程的稳定性、可控性与跨平台可迁移性。
尤为值得关注的是，作为 MiniCPM-o 2.6、VoxCPM 等具有广泛学术与工业影响力的音频及多模态模型的核心评测工具，UltraEval-Audio v1.1.0 的正式开源，将大幅加速音频基础模型的研发迭代节奏与验证效率。
➤ 相关资源
Easily find JSON paths within JSON objects using our intuitive Json Path Finder
*UltraEval-Audio v1.1.0*复现模块（Replication）：
https://www.php.cn/link/5960cf39a08b52bb6025b44882fdda9f/tree/main/replication
*UltraEval-Audio v1.1.0 论文*《UltraEval-Audio: A Unified Framework for Comprehensive Evaluation of Audio Foundation Models》：
https://www.php.cn/link/5960cf39a08b52bb6025b44882fdda9f/blob/main/assets/UltraEval\_Audio\_\_A\_Unified\_Framework\_for\_Comprehensive\_Evaluation\_of\_Audio\_Large\_Language\_Models.pdf
源码地址：点击下载
