「数学基准测试」共找到 2313 篇相关文章
谷歌推出 LLM-Evalkit，为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit，让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节，与谷歌云工作流集成，有无代码界面，已在 GitHub 发布。
NeurIPS25高分论文｜以判别式监督学习强化推理LLM，解决难度偏差和熵崩塌难题
德州农工大学博士生李港在NeurIPS25高分论文中，分析GRPO优化目标，发现难度偏差局限及与判别式监督学习联系，提出DisCO框架强化大型推理模型，其优势显著，实验表现优于GRPO及其变体。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
一个指令误导智能模型！北航等首创3D语义攻击框架，成功率暴涨119%
北京航空航天大学与中关村实验室团队提出全新框架InSUR，入选NeurIPS 2025。该框架可基于指令生成对抗样本，首次实现3D SemanticAE生成，从采样、建模、评估三方面突破，实验验证其有效性与可扩展性。
AI模型守法率提升11%，港科大首次用法案构建安全benchmark
香港科技大学KnowComp实验室从法律合规视角研究LLM安全，提出「安全合规」新范式。基于法律条文构建benchmark，用GRPO微调Qwen3 - 8B得推理模型，在新benchmark测试中性能提升显著。
Paper2Video：学术研究论文讲解视频自动生成
学术演示视频制作耗力，Show Lab提出Paper2Video基准数据集和PaperTalker多智能体框架，可从学术论文自动生成演示视频。还引入定制化评价指标，衡量学术演示视频效果。
这次，LLM黑盒被LLM打开了~
随着大语言模型（LLM）能力提升，其内部机制更不透明。概念描述新范式用另一个 LLM 自动生成自然语言解释。介绍了描述对象、生成方法、评估指标，还提及社区关注方向，指出结合多种手段才能把解释变知识。
真够卷的！DeepSeek更完智谱更：GLM-4.6，代码国内最强
前脚DeepSeek更新到V3.2，智谱又推出GLM-4.6，代码能力达国内最强。测试显示其在多方面表现出色，还降低平均token消耗。寒武纪、摩尔线程跟进适配，价格也降低。
给几何图片写标题就能让AI更聪明，UIUC发布高质量可泛化几何数据集
随着多模态大语言模型在视觉问答等任务广泛应用，其几何推理能力成研究热点。现有方法泛化能力有限，UIUC团队提出Geo - Image - Textualization框架，发布GeoReasoning - 10K数据集，提升模型几何推理表现。
一个让 AI 智能体（AI Agent）工作更出色的绝妙方法，简单到令人惊讶：只要给它们设定一个人格
论文揭示无需复杂重新训练就能引导AI行为，提出MBTI-in-Thoughts框架，在提示词里让大语言模型扮演特定MBTI人格，其行为会改变，还经测试验证，有广泛应用前景。