「评测框架」共找到 2156 篇相关文章
VinciCoder：多模态统一代码生成框架和视觉反馈强化学习，数据代码模型权重已开源
中科院与美团团队推出 VinciCoder，打破多模态代码生成中 SFT 范式瓶颈。它将奖励机制转向视觉域，通过两阶段策略统一多样化代码生成任务，在多基准测试中表现卓越，为领域研究提供新范式。
全新合成框架SOTA：强化学习当引擎，任务合成当燃料，蚂蚁港大联合出品
蚂蚁通用人工智能中心自然语言组联合香港大学自然语言组推出PromptCoT 2.0，押注任务合成。它让30B - A3B模型在数学代码推理任务达SOTA，全面升级效果、数据和方法，还将考虑多方向发展。
ICCV 2025 | SeaS: 工业异常生成+正常合成+精准掩码大一统框架，指标全面碾压SOTA
华中科技大学慢工团队提出少样本工业生成模型SeaS，依托U-Net，只需1 - 3张训练样本，单模型同步实现多样异常生成、正常产品合成及精确异常掩码标注，突破现有方法局限，在主流数据集上超越SOTA。
大语言模型离“数学证明高手”还有多远？斯坦福、伯克利、MIT 团队提出 IneqMath 评测标准
现在很多大语言模型常给出看似正确的结论，但推理过程却有问题。斯坦福、伯克利和MIT团队提出新思路，构建IneqMath数据集及‘AI数学裁判系统’，研究发现很多模型推理不严谨，还给出两个提升准确率的办法。
让机器人「秒懂人话」！中国电信TeleAI发布首个实时文本驱动人形机器人控制框架TextOp
中国电信人工智能研究院（TeleAI）具身智能团队推出人形机器人TextOp通用小脑，首创流式文本驱动的实时小脑控制范式。用户发文本指令，机器人就能实时理解、无缝切换动作，在多场景有应用潜力。
GPT-5、Grok 4、o3 Pro都零分，史上最难AI评测基准换它了
AAI机构提出新基准FormulaOne，让GPT - 5、o3 Pro等前沿大模型集体得零分。该基准含220个图结构动态规划问题，分三类难度。测试结果显示，模型在深层及最深层难度表现差，引发关注。
一手评测Seedance 1.0 pro，字节首次登顶视频大模型竞技场的大杀器来了。
作者在火山引擎发布会现场，认为视频生成模型Seedance 1.0 pro最酷。从多镜头组合、运动质量、情绪、运镜、物理动态效果、风格化六个维度测评，该模型各方面表现出色，无明显短板，已开放给企业用户，今日在豆包App全量上线。
统计可控数据合成！新框架突破大模型数据生成局限，麦吉尔大学团队推出LLMSynthor
麦吉尔大学团队提出新方法LLMSynthor，让大模型成结构感知的数据模拟器，为隐私敏感、数据稀缺场景生成不泄密的高质量替代数据。它通过结构推理、统计对齐等步骤实现，有理论保障，多场景实测效果佳。
HeyGen 开源了一个"用 HTML 写视频"的框架，我研究了一下，发现事情没那么简单
HeyGen 开源了 Hyperframes 项目，可让 AI 用 HTML 写视频。文章从其定义、上手教程、竞品对比等方面展开，指出它虽有短板，但代表视频制作新范式，建议相关从业者关注尝试。
装机量超2000万、全球主流GPU与AI框架“开箱即用”！OpenCloudOS成AI时代优先选项
在大模型训练迭代快、算力需求高但 GPU 利用率低、生态碎片化的背景下，2025 OpenCloudOS 操作系统生态大会举办。OpenCloudOS 围绕 AI 升级技术，构建能力闭环，还发布智能基座，降低产业链技术摩擦。