「基准测试平台」共找到 3301 篇相关文章
谷歌推出 LLM-Evalkit，为提示词工程带来秩序与可衡量性
谷歌推出基于 Vertex AI SDK 的开源框架 LLM - Evalkit，让大语言模型提示词工程更有序可衡量。它整合实验、测试等环节，与谷歌云工作流集成，有无代码界面，已在 GitHub 发布。
AI 六小龙近况：零一万物迎来三位新高管，李开复提出“一把手工程 ”
AI六小龙中的零一万物进行新一轮高管任命，沈鹏飞等三人加入。同时提出“一把手工程”核心战略，以“一横多纵”打法构建新格局，推动大模型ToB解决方案落地，探索AI商业化新方向。
本周推荐的5个yyds的Github开源项目！
本文推荐5个Github开源项目。有文件转换神器FileConverter，免费编程学习资源free - programming - books，轻量级虚拟机管理器Lima，Linux游戏管理平台Lutris，以及全能文件管理器Sigma File Manager，各有特色和功能。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
一个指令误导智能模型！北航等首创3D语义攻击框架，成功率暴涨119%
北京航空航天大学与中关村实验室团队提出全新框架InSUR，入选NeurIPS 2025。该框架可基于指令生成对抗样本，首次实现3D SemanticAE生成，从采样、建模、评估三方面突破，实验验证其有效性与可扩展性。
AI模型守法率提升11%，港科大首次用法案构建安全benchmark
香港科技大学KnowComp实验室从法律合规视角研究LLM安全，提出「安全合规」新范式。基于法律条文构建benchmark，用GRPO微调Qwen3 - 8B得推理模型，在新benchmark测试中性能提升显著。
Paper2Video：学术研究论文讲解视频自动生成
学术演示视频制作耗力，Show Lab提出Paper2Video基准数据集和PaperTalker多智能体框架，可从学术论文自动生成演示视频。还引入定制化评价指标，衡量学术演示视频效果。
ImageNet作者苏昊被曝任教复旦
ImageNet作者之一苏昊被曝要去复旦任教。他是具身智能领域论文被引次数最高的华人学者，主导多个奠基级项目。他研究从语言到2D、3D视觉，再到机器人，还创办具身智能公司Hillbot。
零营收！估值 90 亿美金独角兽 - Prediction Markets 炸裂硅谷
本文是 Altimeter Capital 合伙人 Freda Duan 对 Prediction Market 的解读。它在 2024 年美国大选后进入公众视野，Polymarket 估值达 90 亿美元。其机制使结果比民调更真实，正重塑人们获取真相、定价未来的方式。
这次，LLM黑盒被LLM打开了~
随着大语言模型（LLM）能力提升，其内部机制更不透明。概念描述新范式用另一个 LLM 自动生成自然语言解释。介绍了描述对象、生成方法、评估指标，还提及社区关注方向，指出结合多种手段才能把解释变知识。