「LLM评估」共找到 1596 篇相关文章
AI还不会独自问诊，o3准确率仅为51.12%，上交大×SII开源高难度复杂疾病诊断测评集
上海交大与SII团队开源高难度复杂疾病诊断测评集DiagnosisArena。测试显示，现有大模型在复杂临床诊断任务中表现不佳，o3准确率仅51.12%，且选择题设置无法反映其真实能力。
谷歌之后，英伟达入局扩散大语言模型，Fast-dLLM推理速度狂飙27.6倍
大语言模型领域，推理效率制约实际应用。谷歌Gemini diffusion曾展扩散模型并行潜力，但开源扩散LLM推理慢。近日，NVIDIA等推出Fast - dLLM，无需训练即插即用，推理速度狂飙27.6倍，兼顾速度与精度。
多模态模型具备“物理推理能力”了吗？新基准揭示：表现最好的GPT-o4 mini也远不及人类！
来自多机构研究人员构建PhyX基准测试，评估多模态模型物理推理能力。测试显示，即便表现最佳的GPT - o4 mini准确率仅45.8%，远不及人类的75.6%，且模型在多方面存在结构性缺陷。
AI 不会杀死初级开发者——但你的招聘策略可能会
文章指出在 AI 编码普及的行业，初级开发者角色转变但不可或缺。AI 虽自动化部分任务，却带来新挑战与期望。初级需培养新技能，避免过度依赖，公司也应调整招聘、培养和评估方式。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。
AI杀死大学？教授ChatGPT教学逼疯学生，怒告学校讨要8000美元学费！
美国东北大学一名学生发现教授用ChatGPT生成课件，愤而起诉学校讨要8000美元学费。学生认为付高价学费应接受人类教导；教授则称AI可节省时间、充当助教。不同教授对AI使用看法不一，领英联合创始人看好AI在教育的应用。
破解300年数学难题，智能体大突破！谷歌发布超强AI Agent
今天凌晨谷歌Deepmind发布编程AI Agent——AlphaEvolve，它与Gemini深度集成，能评估算法。它解决了300多年的数学难题，还提出新算法，提升大模型计算效率，可优化GPU指令，架构含多模块。
RAG系统设计：揭秘语义搜索被低估的核心价值与KG驱动的架构选型策略
在AICon大会上，Hugging Face的尹一峰探讨基于语义搜索的RAG系统重要性，揭示其被低估原因，分析本质与作用，分享设计高效架构方法，还讨论KG驱动的RAG系统及范式选择。
面对MCP"工具投毒"，我们该如何应对
近期MCP爆火但安全风险显现，安全机构指其有严重漏洞，会致‘工具投毒攻击’。本文介绍通过客户端/服务器代码复刻攻击过程，剖析MCP客户端和服务端安全风险，还给出阿里云的两种安全监控方案。