「预训练策略」共找到 2851 篇相关文章
中学生就能看懂：从零开始理解LLM内部原理【九】｜ 层归一化：神经网络的稳定器
本文是系列文章第九篇，介绍了神经网络中的层归一化。先回顾标准差、标准分概念，指出其可使差异可控稳定。接着说明层归一化将原思想用在神经网络，还加入可学习参数，最后总结其作用与应用位置。
九成以上模型止步白银段位，只有3个铂金！通用AI下半场评测标准来了
OpenAI研究员姚顺雨提出AI发展步入新阶段，下半场关键在评估模型真实智能。新加坡国立大学等团队提出“通才智能”评测框架，剖析多模态大模型短板，推出五级评估体系和测试集，测试结果暴露模型弱点，引发社区积极反响。
Qwen突破：用「并行计算」代替「堆参数」，新方法内存降22倍、延迟降6倍
LLM进化依赖「堆参数」，存在训练成本高、推理慢等问题。论文提出ParScale，用「并行计算」代替「堆参数」，让模型「分头思考」，推理效率提升22倍，旧模型也能改造，落地价值大。
AI大佬教你如何中顶会：写论文也要关注「叙事」
NeurIPS投稿截止不到一月，Google DeepMind的Neel Nanda发布机器学习论文撰写指南，旨在解决论文表达晦涩问题。指南涵盖理想论文精髓、写作关键要素、结构解析、流程建议及常见问题应对策略。
智源技术分享：大模型行业应用新模式和关键实现路径
在 AICon 大会上，智源研究院周华分享大模型行业应用。分析落地问题，提出以大模型为核心的技术路径，涵盖数据、训练等环节，还给出数据生产流程建议，分享最新开源成果。
我是如何破解 NotebookLM 系统提示词的？
作者分享通过“逆向推理”破解NotebookLM系统提示词的故事，介绍系统提示词概念、破解原因、策略及从播客音频逆推提示词的方法，还提到该方法的效果及局限性 。
99分=0分！用《孙子兵法》《隆中对》做物理 AI，吴甘沙十年拿下全球机场 91% 份额
吴甘沙在演讲中分享驭势科技创业十年心得，用《孙子兵法》《隆中对》构建竞争策略，指出自动驾驶达99分易，最后1%难，是创业公司护城河。还介绍了市场选择、技术路线、商业模式等内容。
具身智能的「ChatGPT时刻」还没到，科沃斯先把机器人拆开了
科沃斯将旗下具身智能机器人“八界”开源，成立“八界开源智创空间”，开放从硬件到底层系统的使用权限。该机器人由轮式底盘加机械臂构成，科沃斯董事长钱东奇不看好人形及VLA技术路线。
强化学习没作用？人大DelTA精准识别关键token，推理正确率大幅上升
人大高瓴研究团队提出DelTA算法，不依赖经验为强化学习目标中每个token算最优权重。实验显示它适配主流强化框架，在多任务上提升base模型效果，还能让训练更稳定。
全球排名前三，复旦自进化Harness Engineering让GPT‑5.4再涨7个点
2026 年以来，Harness Engineering 成业界热词。复旦大学等团队提出 Agentic Harness Engineering (AHE)，可实现 Harness 自动优化。实验中，AHE 让 GPT - 5.4 分数提升，适配 GPT - 5.5 后排名全球第三，且有良好泛化能力。