算法论文8
研究：大模型评估结果对细节极度敏感
深度学习自然语言处理
AI 摘要
研究团队：大模型评估中基准测试结果对评估细节敏感，细微变化可使分数波动超5%，削弱对比可信度，呼吁建立透明、稳定、可复现的评估新标准。
阅读原文 · 深度学习自然语言处理
Evaluation is All You Need：评估设计的微小差异如何扭曲结果
论文以DeepSeek - R1 - Distill系列模型为例，指出大模型评估中看似客观的基准测试结果对评估细节极度敏感，细微评估条件变化会致分数波动大，削弱模型对比可信度，呼吁建立新评估标准。
关注公众号
扫码关注
第一时间收到每日精选
相关文章
新闻资讯8
DeepSeek高毛利，冲刺5000亿估值A股上市
据外媒报道，DeepSeek今年前七个月营收约4.75亿，较2025年全年增长近10倍，净亏损收窄，综合毛利率44.6%，API业务毛利率达82.9%。它正磋商500亿二轮融资，筹备明年沪上市，靠优化基建降本，低价策略吸客。
AI前线
产品应用7
Google发布“法律版Gemini”进军法律界
8月25日，Google Cloud发布Gemini Enterprise for Legal面向律所和企业法务团队开放预览。它想解决让模型进入律所现有工作系统，不打乱权限等规则的问题，通过MCP连接系统并继承权限，还组织各方合作。
AIGC开放社区
算法论文8
NovaSilicon：造芯瓶颈在组织而非工具
NovaSilicon发表论文探讨超级智能在芯片领域的运用。随着芯片复杂度提升，传统EDA方法遇瓶颈，论文提出将芯片设计超级智能建模为AI组织，利用LLM等技术，重塑芯片设计行业，实现产业链智能化升级。
五源资本 5Y Capital
新闻资讯8
OpenAI自研芯片「墨西哥辣椒」跑赢英伟达
OpenAI公布自研推理芯片Jalapeño（墨西哥辣椒）测试结果，它专为大语言模型推理设计，能同时提升吞吐量和降低延迟，在多模型测试中超NVIDIA系统。该芯片与Cerebras合作，计划2026年底部署。
机器之心