「LLM评估」共找到 1596 篇相关文章
叶子豪、陈天奇等人开源项目FlashInfer入选，MLSys2025最佳论文奖公布
近日，MLSys 2025公布最佳论文奖，FlashInfer等入选。FlashInfer由多机构合作发起，是灵活的LLM推理内核库，优化内存访问、有可定制模板和调度机制，性能提升显著。另一获奖论文提出Negativa - ML可消除ML框架臃肿。
6.2k 谷歌开源LangExtract，主打精确溯源的长文档抽取
谷歌开源 Python 库 LangExtract，能让 LLM 依用户指令从非结构化文档提取结构化信息。它可处理临床记录等，具备精确源接地、可靠输出等特性，支持多模型，无需微调，适用于各领域。
The Batch：831 | 机器翻译正在实践中发挥作用
人工智能为语言学习应用巨头 Duolingo 带来生产力提升，借助生成式 AI 构建 148 门课程，总量翻倍。其 AI 辅助课程构建法能快速转化多语种版本，还在评估多模型，不过此举也引发批评。
《西部世界》开始加载，「斯坦福小镇」团队创业，李飞飞、Karpathy都投了
2023 年爆火的「斯坦福小镇」研究将设想拉进现实。如今其创始团队创立新公司 Simile，获 1 亿美元融资，李飞飞、Andrej Karpathy 等投资。它用 Agent 技术模拟人类行为，探索 LLM 新维度。
首个英文原生「弱智吧」！逻辑谬误数据集与生成框架来了 | AAAI'26
研究发现大模型判断逻辑谬误易误报正常句子，但分类能力较强。研究人员构建英文逻辑谬误基准SMARTYPAT - BENCH，开发生成框架SMARTYPAT，为大模型逻辑评估提供新思路，可用于多领域。
研究表明，开源能推动AI创新和经济增长
Siliconangle消息，Linux基金会新研究显示开源对全球经济贡献达9万亿美元。其首席经济学家Frank Nagle指出，AI加入使开源价值评估方式改变，计算开源AI价值复杂，参与开源项目能增加经济价值。
正确答案 ≠ 正确推理，CoT 或成大模型推理能力停滞的「罪魁祸首」？
研究指出当前大模型推理能力评估多关注答案准确性，忽视推理步骤。通过对前沿模型测试发现，2023 - 2024 年大模型推理能力提升停滞，进步靠提示工程，自底向上策略最有效。
睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升
Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。
Sora2甚至可以预测ChatGPT的输出
Sora2表现太卷，能预测ChatGPT输出，模拟交互还能渲染HTML，懂代码也懂物理，能体现玻璃折射现象，还能精准还原游戏支线任务关键要素，或基于LLM训练。
Anthropic 提出透明度框架以保障前沿 AI 发展
Anthropic提出新透明度框架，针对大型AI公司，实施安全开发框架评估并减轻潜在风险，要求公开披露SDFs和系统卡片，小型公司豁免，还设执行合规条款，旨在平衡安全与创新。