「LLM评估」共找到 1596 篇相关文章
The Batch: 892 | 教育应与 AI 协作，而非对抗
三年多前ChatGPT发布，教育改变。曾寄望用AI检测器识别生成文本，但学生易规避。检测难维持信任，还可能惩罚错对象。生成式AI可提升学习，应构建新评估模型，如展示真实理解等。
CrowdStrike联手Meta发布AI安全基准，让AI在真实网络攻击中证明自己
美国网络安全巨头CrowdStrike与Meta在Fal.Con 2025大会联合推出开源基准测试套件CyberSOCEval，旨在评估AI大语言模型在真实SOC环境下的网络安全能力，它源于Meta之前框架，开源供全球开发者使用。
重磅！Thinking Machines开山之作：大模型输出随机的根本原因被揪出，并开源终结方案
由OpenAI前CTO创办的Thinking Machines宣布上线技术研究博客，开篇文章揪出LLM输出随机的根本原因是负载及批次大小的非确定性变化，并给出系统性解法，还开源方案。
蚂蚁集团发布KAG-Thinker，多跳问答慢思考，医疗领域拿下87分
在LLM问答领域，多跳问题存在局限性。蚂蚁集团发布KAG - Thinker，它是基于KAG框架的模型，能解决复杂问题的逻辑连贯性和上下文一致性。还介绍了其工作原理、示例、医疗应用及稳定性表现。
字节跳动&清华大学开源多模态时序大模型ChatTS，可实现时序数据对话与推理
字节跳动与清华合作开源多模态时序大模型ChatTS，可实现时序数据对话与推理。它用合成数据训练，解决了数据稀缺等问题，在评估中表现远超基线模型，未来可拓展至更高阶任务。
领域驱动的 RAG：基于分布式所有权构建精准的企业知识系统
银行技术供应商为解决文档和专业知识获取难题，探索用 RAG 技术，严格将 AI 作咨询工具。重新分配 RAG 实施所有权，采用元数据方法，探索伸缩性解决办法，构建完整应用并评估性能，结果令人振奋。
刚刚，翁荔博客又上新：通过Harness工程实现AI自我提升
翁荔新博客聚焦Harness Engineering，梳理围绕‘Harness自我优化’的研究，探讨递归式自我提升发生层面，还指出自动化研究和自我提升系统面临的瓶颈，如评估标准模糊、奖励作弊等。
OpenAI罕见发论文：我们找到了AI幻觉的罪魁祸首
AI“幻觉”是阻碍完全信任AI的关键障碍，目前无根治良方。OpenAI罕见发论文揭示其根源，指出标准训练和评估程序奖励猜测，应加大对自信错误的惩罚，奖励表达不确定性。
陶哲轩回应OpenAI宣称内部实验模型获得IMO金牌：不予置评「测试方法不公开就是“作弊”？」
OpenAI宣称内部实验模型获IMO2025金牌，陶哲轩呼吁对AI竞赛表现保持审慎。他强调评估AI不能只看结果，测试方法很重要，对未公开测试方法的自我报告成绩不予置评。
复旦提出自适应Reasoning方法ARM，“能屈能伸”
复旦提出自适应Reasoning方法ARM，解决LLM‘过思考’问题。ARM内置四种解题策略和三种决策模式，还搭配Ada - GRPO算法，在23个数据集测试中表现出色，省token、提速度且准确率高。