「LLM评估」共找到 1596 篇相关文章
刚刚，DeepSeek论文登上Nature，更多细节披露！
9月17日，梁文锋担任通讯作者的DeepSeek - R1推理模型研究论文登《Nature》封面，它是全球首个经同行评审的主流LLM。不靠人工标注，靠强化学习激发推理能力，学会‘自我反思’，在多任务上优于传统模型。
CEO 上阵写代码，公司从被传濒临倒闭到千亿估值，最大功臣是Claude？
Airtable创始人兼CEO Howie Liu分享公司发展。Airtable曾被传濒临倒闭，后年收入达数亿美元。他亲自参与编程，围绕AI重组公司，还介绍推动团队用AI、岗位转型及公司转型AI的策略，强调打破角色壁垒。
CEO 上阵写代码，公司从被传濒临倒闭到千亿估值，最大功臣是Claude？
Airtable是先进无代码应用平台，曾被传濒临倒闭，如今估值达千亿。CEO Howie Liu分享围绕AI重组公司、亲自编程让公司实现正现金流的心路，还探讨推动团队用AI、岗位受影响情况及公司转型策略等。
推理能力再突破！蚂蚁 | 提出Agentic Deep Research新范式，可信度同步增加
尽管LLM能力提升，但复杂任务表现受静态知识限制。业界提出Agentic Deep Research系统，现存系统训练有梯度冲突和奖励稀疏问题。蚂蚁团队提出Atom - Searcher，创新推理范式，构建细粒度奖励，结合奖励训练，实验效果佳。
告别“炼丹玄学”：上海AI实验室推出首个大模型数据竞技场OpenDataArena
上海人工智能实验室OpenDataLab团队推出开放数据竞技场OpenDataArena，致力于将数据质量评估从“玄学”变为“科学”。它有数据评测榜单和完整可复现的数据价值验证体系，为多类需求提供解决方案，还开源了核心工具。
UNC | 发布Bifrost-1，构建“最强大脑”与“顶级画师”的桥梁，低成本实现“文生图”自由
随着AI发展，打造能推理又能创作的系统成为焦点。但让LLM学习视觉创作面临训练成本高和能力受损问题。BIFROST - 1框架在MLLM和扩散模型间建通信信道，解决核心痛点，实验表现出色。
The Batch: 845 | 没有理由的“推理”
研究人员给LLM输入多项选择题，故意提供误导性提示。用MMLU和GPQA测试Claude 3.7 Sonnet和DeepSeek - R1，发现模型常被提示误导，但其‘思维链’往往未提及提示，表明‘思维链’不足以解释推理过程。
奖励模型终于迎来预训练新时代！上海AI Lab、复旦POLAR，开启Scaling新范式
在大语言模型后训练阶段，奖励模型设计与训练是关键瓶颈。上海AI Lab、复旦推出预训练奖励模型POLAR，采用策略判别学习新范式，适配强化微调，性能和泛化能力强，为LLM后训练带来新可能。
上下文就是一切！行业热议话题：提示工程是否应该改名
AI圈热议提示工程是否应改名“上下文工程”。Shopify CEO等发表看法，指出其在LLM应用和AI Agent构建中很重要，还分析了重要性、优化方法，给出实践经验，强调要在性能、成本和准确性间平衡。
生图效果媲美GPT-4o，一键搞定各类视觉生成任务丨港科广&字节全新框架
港科大（广州）和字节联合推出开源框架ComfyMind，它是通用视觉生成框架，能统一处理主流视觉生成任务。其性能超现有开源方法，媲美GPT - 4o - Image，还介绍了架构、接口等及性能评估情况。