「预训练研究」共找到 3729 篇相关文章
万字长文 | 异构算力技术架构与核心组件解析
文章聚焦异构算力技术架构与核心组件，解析主流AI芯片特点、国产芯片技术路线；介绍高速互联技术、网络拓扑结构及优化方法；阐述大模型存储需求、分布式存储技术及数据预处理与加载技术，为AI计算提供全面方案。
告别微调！斯坦福提出Agentic上下文工程
当前微调大语言模型成本高、不灵活，‘上下文适应’方法有短板。斯坦福大学等提出ACE框架，将上下文变为动态‘战术手册’，解决现有问题。论文通过实验验证其在性能、成本和效率上优势，为大模型发展指明新方向。
经典之作！Agent无需奖励也能学习：通过“早期经验”的Agent Learning
该论文提出‘早期经验’范式，让智能体通过执行动作、观察结果状态学习，无需外部奖励。它能降低数据依赖，提升泛化与鲁棒性。实验显示，其在多样环境中效果出色，为智能体训练提供新思路。
AIAA J | 香港理工大学王旭等：目标导向的特征提取-以特征构建增强数据驱动模型
该论文通过对比学习理清潜在输入特征与目标输出的关联性，提出输出驱动的输入特征构造方法。所构造特征在高维代理模型构建中增强效果显著，还可减少预测误差分布及不同模型收敛性和鲁棒性差异。
这一次，天玑9500的端侧AI能力，友商赶不上了
9月22日，联发科推出天玑9500芯片，展示新形态端侧AI应用，推动端侧AI实用化。其性能强、功耗低，还支持端侧模型训练。多家手机厂商将发布搭载该芯片的手机，展现新AI趋势。
谷歌DeepMind「粪坑淘金」全新方法，暗网毒数据也能训出善良模型
谷歌DeepMind研究团队发表论文提出生成式数据精炼（GDR）方法，不直接生成新数据，而是用大模型净化原始数据，保留有用信息。该方法能解决数据枯竭、隐私等问题，实验显示效果良好。
如何破解海量内容审核难题？快手安全大模型技术探索与应用实践
在数字内容爆炸式增长下，传统内容审核模式难应对挑战。快手安全算法中心负责人刘梦怡分享自研多模态大模型技术方案与应用实践，涵盖架构、数据、训练等，还介绍审核智能化应用及未来展望。
AI三问：Agent、LLM、RAG，一文厘清！
文章介绍大语言模型（LLM）、检索增强生成（RAG）和AI智能体（Agent）三种架构。阐述其概念、工作原理、应用场景、优缺点，还做了横向对比，给出选用建议，最后提及混合架构与未来趋势。
苹果机器人负责人也被小扎挖走了！浙大校友，任职Meta机器人技术一号位
苹果又失去四名AI研究员，其中机器人研究小组首席AI研究员Jian Zhang跳槽到Meta，基础模型团队三人分别去OpenAI和Anthropic。苹果AI进展不顺，此前已有6人跳槽，离职潮预计还会持续。
英伟达发布 Jet-Nemotron 系列小模型，理论最大加速比 56 倍
英伟达发布 Jet - Nemotron 系列小模型，在多项基准测试中表现出色，实现高吞吐量加速和高准确率。其训练采用 PostNAS 方案，对既有模型针对性优化，展示了在小模型优化上的可行技术路径。