搜索：自注意力机制

「自注意力机制」共找到 1944 篇相关文章

字节跳动李航博士新作：AI智能体的通用框架

字节跳动李航博士在JCST发表观点论文，提出涵盖软件和硬件智能体的通用框架。该框架以完成任务为目标，依赖LLM，用强化学习构建。文章还探讨了与大脑机制关联、未来研究方向等。

Nous Research推出新一代大模型Hermes 4系列，其有混合推理和长度控制机制，还能用DataForge“造”数据，经Atropos质检。它在数学等领域表现佳，追平GPT - 4o，是开源AI对巨头的挑战。

视觉语言模型（VLMs）存在视觉幻觉和语言捷径问题，限制其可靠性和泛化能力。腾讯提出Vision - SR1训练方法，通过推理分解和自我奖励机制，不依赖外部监督，提升模型视觉感知和推理可靠性。

ChatGPT有7亿多免费用户，SemiAnalysis研究认为GPT - 5的‘Router’机制能让OpenAI从免费用户身上获利。‘Router’可降低成本、提升性能，结合新功能及合作，有望开启交易抽成的商业化模式，冲击谷歌等巨头。

如今AI渗透工业各环节，形成“大小协同”格局，但面临场景复杂、数据孤岛等挑战。西门子凭借深厚积累构建工业体系，其Industrial Copilot等产品落地中国，还自研基础模型突破瓶颈，围绕‘AI for Real’理念布局。

自2006年起，中国大陆成全球第一大PCB生产地，长期贸易顺差。但高端领域曾被美日韩台掌控，如今5G与AI推动变革，国内企业正以技术为矛，在高端领域发起集群冲锋，市场规模持续增长。

大神Karpathy提出“细菌编程”新概念，代码要有小而精、模块化、自包含且易复制粘贴的特点，让开源社区发展。他还提出过“软件3.0”“氛围编程”等概念，这些脑洞或成未来编程范式信号。

大语言模型为文本驱动动作生成带来新可能，但现有方法有局限。GigaAI提出Motion - R1框架，融合“思维链”机制，能分解指令、优化动作合成，虽有不足，但在测试中表现优于主流方法。

阿里巴巴未来生活实验室团队解决多模态大模型视频推理难题，推出ReWatch数据集和ReWatch - R1模型。数据集克服现有训练数据痛点，模型用SFT + RL范式及创新奖励机制，实验成绩SOTA。

10月30日消息，英伟达拟向AI初创公司Poolside投资最高10亿美元。该公司由微软技术大佬带队，定位生成式AI与软件开发交叉领域，开发自研模型，有独特强化学习方法和技术布局。