清华 nlp 实验室、openbmb 与面壁智能共同推出并开源 ultraeval-audio——一款专为音频大模型设计的综合性评测框架。该框架不仅构建了覆盖全面、逻辑清晰的音频模型评估方法论,更将其落地为即装即用的工程化工具,有效填补了当前音频领域系统性评测体系与标准化框架的空白,并首次明确定义了结构化的评测范式(如表1所示)。

开源地址:https://www.php.cn/link/5960cf39a08b52bb6025b44882fdda9f
UltraEval-Audio 最新版本 v1.1.0 在延续原有“一键评测”核心能力的基础上,重点强化对主流音频模型的一键复现支持,新增对 TTS、ASR、Codec 等细分任务专用模型及对应专项评测任务的兼容性,并引入隔离式推理执行机制,从工程实践层面显著降低模型复现难度,增强评测流程的稳定性、可控性与跨平台可迁移性。
尤为值得关注的是,作为 MiniCPM-o 2.6、VoxCPM 等具有广泛学术与工业影响力的音频及多模态模型的核心评测工具,UltraEval-Audio v1.1.0 的正式开源,将大幅加速音频基础模型的研发迭代节奏与验证效率。
➤ 相关资源
Easily find JSON paths within JSON objects using our intuitive Json Path Finder
*UltraEval-Audio v1.1.0*复现模块(Replication):
https://www.php.cn/link/5960cf39a08b52bb6025b44882fdda9f/tree/main/replication
*UltraEval-Audio v1.1.0 论文*《UltraEval-Audio: A Unified Framework for Comprehensive Evaluation of Audio Foundation Models》:
https://www.php.cn/link/5960cf39a08b52bb6025b44882fdda9f/blob/main/assets/UltraEval\_Audio\_\_A\_Unified\_Framework\_for\_Comprehensive\_Evaluation\_of\_Audio\_Large\_Language\_Models.pdf
源码地址:点击下载









