「LLM评估」共找到 1596 篇相关文章
一年后，DeepSeek-R1的每token成本降到了原来的1/32
几天前，DeepSeek更新R1论文至86页，公开训练全路径等细节。英伟达发表博客展示在Blackwell GPU上对其降本增效，通过软硬协同提升每瓦特Token吞吐量，还介绍了TensorRT - LLM软件及相关技术提升性能的情况。
为什么 Agent Memory需要 AML：看 AML “变量控制”的工程设计
传统 Agent 记忆评测有水分，近日放榜的 Agent Memory Leaderboard (AML) 通过严格控制变量构建盲测管线。文章从技术架构深拆其工程细节，还分析了首期榜单，指出其重构评估变量的价值。
Fable 5解禁即翻车！写一行代码就降智，开发者破防
消失19天的Fable 5解禁即翻车，因过度审查和双标机制，让开发者破防。但抛开护栏，它执行复杂任务能力强。A社同期发布的Sonnet 5也遭群嘲，此外，A社还提出评估框架并向政府让步。
AI编程真面目：完整项目通过率仅27% | 上交大新基准
多校联合团队发布ProjDevBench，评估AI编程智能体端到端项目开发能力。结果显示，六种主流智能体总体提交AC率仅27.38%，从零构建任务中性能大幅下滑，还揭示了智能体多方面短板。
MIDAS：快手可灵发布实时交互式数字人生成框架
近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。
荣登HuggingFace周榜首位， 人大高瓴与快手提出ARPO实现智能体高效训练！
人大高瓴与快手提出的ARPO项目受高度关注，荣登Huggingface Paper日榜、周榜双首位。它是为多轮交互型LLM智能体设计的强化学习算法，在基准测试中，用一半工具调用预算就显著优于现有方法。
中山大学&华为联合提出 Issue Resolution 数据集构建神器SWE-Factory：每条只要$0.024
中山大学和华为联合提出低成本开源方案 SWE-Factory，可自动收集代码打造高质量代码评估数据集。它能解决传统构建流程繁琐、依赖人工的问题，实现全流程自动化，还构建了 SweSetupBench 数据集，表现出色。
NovaSilicon发表新论文：造芯的瓶颈不在工具，而在组织
NovaSilicon发表论文探讨超级智能在芯片领域的运用。随着芯片复杂度提升，传统EDA方法遇瓶颈，论文提出将芯片设计超级智能建模为AI组织，利用LLM等技术，重塑芯片设计行业，实现产业链智能化升级。
数学推理热潮下的冷思考！如何训练真正"全能"的推理模型？
论文评估20余个开源推理模型在多领域表现，发现多数模型数学成功难迁移。揭示微调方法（RL vs SFT）决定能力泛化，SFT像‘填鸭’，RL似‘思维健身’，为构建通用推理智能体提供新路径。
大模型微调知识与实践分享
文章详细介绍大型语言模型（LLM）微调知识与实践，包括模型结构、参数量等知识，以及Prompt工程、数据构造、LoRA微调等技术点。还给出微调实践流程，介绍相关平台和框架，如星云、TuningFactory等。