「新注意力机制」共找到 4316 篇相关文章
10B超越Gemini-2.5-Pro!阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型,仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制,在多任务上表现出色,为小模型发展提供新思路。
从HITL(Human In The Loop) 实践出发看Agent与设计模式的对跖点
本文围绕在 ReactAgent 中引入并实践 HITL 机制展开,介绍实现方案与代码设计。分析无通用人机协同时的问题,阐述 HITL 核心要点、实现效果与细节,还探讨 Agent 演进与工程设计模式的关联。
清华挖出「幻觉」的罪魁祸首:预训练产生的0.1%神经元
清华大学孙茂松团队从神经元角度研究LLM幻觉微观机制,发现不到0.1%的H - 神经元可预测幻觉,与过度顺从行为相关,根源在预训练阶段,为解决幻觉问题、开发可靠大模型提供新思路。
DeepSeek V3到V3.2的进化之路,一文看全
知名AI研究者Sebastian Raschka发布深度博客,详细梳理DeepSeek V3到V3.2进化历程。DeepSeek V3.2性能对标GPT - 5和Gemini 3.0 Pro,且为开放权重模型,报告涵盖众多有趣领域和知识。
日本AI王者,CTO是Transformer之父,刚拿下世界编程竞赛冠军
在ICFP 2025编程大赛中,日本Sakana AI的「Team Unagi」以人机共创模式夺冠。其AI系统「ShinkaEvolve」优化代码,性能提升近十倍,还启发人类思维。Sakana AI以自然进化为理念,探索AI新范式。
首款推理具身模型,谷歌DeepMind造!自主理解/规划/执行复杂任务,打破一机一训,还能互相0样本迁移技能
谷歌DeepMind发布新一代通用机器人基座模型Gemini Robotics 1.5系列,由GR 1.5和GR - ER 1.5组成,结合视觉、语言与动作,实现“规划 + 执行”闭环,还提出Motion Transfer机制,能跨机器人迁移技能。
吴恩达来信:智能体并行运行以提升效率
吴恩达称并行智能体成扩展AI规模新方向。AI性能会随数据量、训练及推理计算量提升,但耗时久。随着LLM每个token价格下降,更多智能体工作流被并行化,且相关研究增多。
无需训练,即插即用,2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中,扩散模型成主流,但DiT模型注意力机制计算量大,成推理瓶颈。现有加速法效果不佳,为此美国东北大学等团队提出DraftAttention,可2倍加速推理且不损画质。
首钢园科幻“朋友圈”扩容,科幻产业联合体生态版图再升级
3月18日,2026年科幻产业联合体会员大会在首钢园举办,是联合体生态版图的一次升级。随着新企业加入,会员达71家,构建跨界协同生态。大会还进行政策解读,助力企业发展,未来将深化发展模式,打通产业生态闭环。
对话 Elys 创始人:他的 10 个产品洞察,和他想创造的下一代社交网络
极客公园与 Elys 创始人 Tristan 深度对话,分享 10 个产品洞察。他认为 context 价值大,做新 AI 产品要找好形态,记忆系统本质是推荐系统,还阐述了对 AI 社交等看法,目标是创造低熵社交网络。