「两阶段注意力机制」共找到 1640 篇相关文章
这些大神在Meta的论文看一篇少一篇了
田渊栋团队剖析可验证奖励强化学习(RLVR)训练动态,戳破参数更新稀疏误区,提出三门理论说明其参数更新定位机制,还为RL训练算法设计提供指导,指出SFT时代参数高效微调方法在RLVR中迁移效果差。
让大模型学会“像人一样”查证真伪
伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1,为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据,让模型学会像人一样查证,在多数据集上表现出色。
AutoResearch-LLM:让 Agent 接手 LLM 训练优化
本文是 LLM 微调 AutoResearch 落地实战。作者将电商场景 Qwen3 微调流水线沉淀成 Agent 驱动的三阶段框架,还分享踩坑经验。思路方法与平台无关,可类比到外部环境,适合关注 AI Coding 等的同学。
OpenAI离职员工自曝:干了一年就润了!007压力逼到极限,AGI成宗教
OpenAI离职员工Calvin French - Owen揭秘公司文化。OpenAI扩张快致机制常调整,靠Slack运转,推崇实力至上、行动导向。Codex从想法到上线仅7周,虽辛苦但成果惊人,还分享了公司在安全、代码等方面情况。
Agent 的第一性问题:Proactive 与 Context 经济学
过去一年AI Agent能力提升,但用户体感未同步变好,原因在于人类注意力窗口有限。赛道分化,主动式桌面Agent是新方向,AirJelly是代表产品,五源资本对其创始人黄柏特进行访谈,探讨产品设计、应用场景等问题。
如何让AI帮你做前端自动化测试?我们这样落地了
本文介绍阿里基于AI的UI自动化测试框架在专有云质量保障的实践。框架用开源browser - use等工具,采用自然语言驱动用例、动态元素定位等机制,还应对了大模型幻觉等挑战,也提及构建企业级数据分析Agent方案。
将思维链(CoT)引入具身世界,哪种路径能真正打通机器人「知行合一」?
文章围绕将思维链(CoT)引入具身智能领域展开。介绍CoT从语言层面到成为机器人行为核心认知机制的转变,分析分层架构与端到端模型两种技术路径,还阐述自变量机器人统一架构的优势和能力。
刚刚,1122人干出“国产GPU”第一股,摩尔线程成功IPO:开盘股价疯涨,市值破2800亿!专家:国产AI芯片商业化进入关键期
今日摩尔线程在科创板上市,发行价114.28元,截至发稿股价涨至620元/股,市值破2800亿。它成立于2020年,核心团队多有英伟达背景,研发投入高,已推出四代GPU架构和产品,专家称国产GPU进入商业化验证阶段。
大模型的第一性原理:(三)信息论篇
本文从信息论角度解读大模型第一性原理。介绍Shannon信息论,提出将其从以BIT为中心转换为以TOKEN为中心解释大模型底层原理,还阐述大模型各阶段信息论原理、定向信息计算方法,对比Granger与Pearl因果。
预训练就学会思考!字节、北大等用14亿参数,撬动百亿模型推理能力
字节、北大等联合发布Ouro模型,用14亿参数实现百亿级模型推理能力。它在预训练阶段学会循环思考,通过三大创新构建推理能力,在基准测试中表现优异,实现参数效率提升,是潜在推理范式的胜利。