搜索：混合注意力架构

「混合注意力架构」共找到 2118 篇相关文章

字节、阶跃之后，张心皓押注Human Loop：Agent Loop赢家通吃，创业要走另一条路

张心皓曾在字节跳动工作10年，后创业，现做Jovida，目标是“从愿望到行动零摩擦”。他认为Claude Code定义纯Agent Loop上限，创业应做Agent in Human Loop，还分享了产品理念、架构、商业化等看法。

大模型竞赛进入万卡、十万卡时代，网络取代算力成新瓶颈。过去RoCE因成本优势受青睐，但集群规模扩大后运维复杂。IB架构以其稳定性迎来价值重估，国产IB方案突破或改变技术路线选择。

现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构，有双轨并行记忆系统，能恒定内存、线性时间处理文本，在基准测试超主流方法，实现21倍推理加速和10倍显存节省。

智谱发布并开源GLM - OCR，以0.9B轻量级参数在多项基准取得SOTA。它解决视觉感知难题，具备视觉编码与语言解码协作架构，还可端侧与高并发部署，成本低，推动文档智能化处理升级。

港大、NVIDIA和清华联合团队提出AMS统一人形机器人全身控制框架，首次在单一策略实现动态运动跟踪和极限平衡控制。通过异构数据源、混合奖励机制和自适应学习策略，解决数据限制和优化目标冲突问题。

MIT助理教授唐皓凝构建可相对运动的双层纳米光子系统，将机械运动变为可定量科学变量。2024年，她和合作者集成光谱仪和偏振仪功能。她想发展可编程光子架构，还把AI作工具。

OpenClaw热潮下，云端隐私数据保护缺位，端侧算力和全模态脱敏能力不足制约其落地。无问芯穹推出InfiniClaw Box，具备多信源融合等能力，采用端云一体架构，实现隐私安全与大模型能力融合。

谷歌发布Gemma 4全系列开源模型，有4个尺寸。它在硬件适配、注意力机制等方面革新，能在手机等设备运行，在测试中成绩出色，还获多平台支持，谷歌发起挑战赛鼓励开发者。

滑铁卢大学与快手可灵团队提出 UniVideo，是支持视频理解、生成与编辑的多模态模型。它采用双流架构，结合 MLLM 与 MM - DiT 能力，统一 10 个多模态任务，在多项基准超现有方法，代码已开源。

2025 年 AI 开始释放创造力，重新定义知识工作。作者在编程上向创造性工作倾斜，设计适配 AI 的架构、落地 DSL；写作上 AI 提升生产力但削弱创作欲。2026 年需探索新竞争力，实现角色转变。