「预训练语言模型」共找到 8398 篇相关文章
这篇超有用！手把手教你搭建 AI 产品 Evals
文章指出AI下半场模型评估比训练更重要，做好Evals是当下AI产品开发刚需。介绍了Evals重要性、三种方法、通用评估标准等，还教你从零构建Evals及设计注意事项，助你快速上手评估。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
Ilya重新定义AGI: 为什么ChatGPT离真正的AGI还很远
OpenAI前首席科学家Ilya在访谈中提出对AGI的新定义，还指出AI规模时代结束，未来拼想法和研究深度。他分析模型评测强但经济影响弱的原因，阐述人类价值函数作用，且SSI战略或调整。
当 Token 成为商品，AI 基础设施会怎么变化？
在大模型时代，智能生产和交付未实现工业化，存在性能鸿沟。九章云极提出AI工厂战略，发布Alaya NeW Cloud 3.0，将从资源计量转向智能计量，打造训练和Token工厂，提升算力到有效Token的转化效率。
首次，AI下棋不再是「黑盒」！
上海AI Lab发布升级版大模型「书生·思客InternThinker」，首度打破围棋AI推理黑盒，能用自然语言解释落子逻辑，具备职业3 - 5段棋力。依托创新训练平台InternBootcamp，它在多任务表现出色，且相关技术有系列创新突破。
MIDAS：快手可灵发布实时交互式数字人生成框架
近年来交互式数字人视频生成受关注，但实时处理多模态输入有挑战。快手可灵团队提出MIDAS框架，基于LLM驱动的自回归模型，结合轻量级扩散头，实现低延迟、交互式多模态控制，还构建大规模数据集等。
TreeHop：无需LLM的高效多跳问答新范式
多跳问答（MHQA）任务有挑战，现有方法依赖LLM，计算成本高、延迟显著。TreeHop研究提出新方案，摒弃LLM，通过嵌入空间动态更新，降低延迟、减少模型参数量，还在主流数据集表现佳，适合工业应用。
指导Harness的越多，收益反而越差
Thinking Machines Lab的《Interaction Models》指出，当下产品形态中，指导harness越多收益越差。问题在协作带宽，提出把“会交互”练进模型本体，介绍了从零训练的interaction model及架构，还指出现有交互评测不足。
英伟达护城河被AI攻破，字节清华CUDA Agent，让人人能搓CUDA内核
近日，字节跳动Seed团队和清华AIR的CUDA Agent引发轰动。它能编写经优化的CUDA内核，性能超torch.compile等。研究发布CUDA - Agent - Ops - 6K数据集，介绍系统管线设计、训练流程，实验结果佳，但有未对比复杂编译器等局限。
人多不管用！智能体团队别盲目扩张，最新综述给出三大维度
随着大语言模型驱动的多智能体系统快速发展，核心问题是有些系统规模扩大后会失稳、低效。美国、英国和澳大利亚研究人员提出三维分类框架描述大规模智能体网络，指出真正决定系统表现的是三种机制组合。