「模块化双工注意力机制」共找到 301 篇相关文章
Agent 的第一性问题：Proactive 与 Context 经济学
过去一年AI Agent能力提升，但用户体感未同步变好，原因在于人类注意力窗口有限。赛道分化，主动式桌面Agent是新方向，AirJelly是代表产品，五源资本对其创始人黄柏特进行访谈，探讨产品设计、应用场景等问题。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
首发Omni-Flow流式全模态架构，消费级显卡就能跑
面壁智能等联合发布MiniCPM-o 4.5技术报告，公开Omni-Flow流式全模态框架。该模型凭9B参数实现端到端全双工全模态，可在消费级显卡运行，还推出在线体验Demo等，性能表现佳，应用潜力大。
WAIC现场最“聪明”展台！AI眼睛耳朵能力全打开了
WAIC现场，声网展台被观众挤爆，其新奇“AI玩具”都能与玩家流畅对话。声网对话式AI引擎全新升级，新增选择性注意力锁定、视觉理解能力，能与主流数字人方案集成，还可接入大模型，价格低。它已在多领域落地。
Qwen3-Next全新架构，32K场景MTP吞吐提升10倍
随着模型大小和上下文长度增加，为应对成本和部署挑战，Qwen3 - Next有突破性架构创新，解决上下文长度和总参数缩放问题。它采用混合注意力、超稀疏MoE等，MTP机制让其长上下文推理吞吐量比前身高10倍以上。
MiniMax-M1：全球首个开源超长上下文大模型，超越DeepSeek-R1，推理成本仅1/4
MiniMax-M1是全球首个开源超长上下文大模型，刷新三项记录。它采用混合专家架构，闪电注意力让推理复杂度近乎线性增长。CISPO算法加速训练，成本低。在工业级任务测试表现佳，已开源且方便开发者接入。
刚刚，面壁小钢炮开源进阶版「Her」，9B模型居然有了「活人感」
2月4日，面壁开源全双工全模态大模型MiniCPM - o 4.5，在多方面达SOTA水平。它能边看边听边说，实现自主交互。实测中表现如真人，其架构和机制有创新，还适合端侧部署，或开启人机交互新时代。
构建能源领域的AI专家：一个多智能体框架的实践与思考
本文介绍阿里团队在能源领域构建多智能体框架的实践。因单智能体处理复杂任务有“注意力发散”问题，团队研发综合能源智能体平台，阐述框架搭建、各组件功能及设计考量，还分享思考与可优化点。
AI 基础知识从 0.5 到 0.6—— Transformer 架构为何能统治AI领域？
文章围绕Transformer架构展开，先介绍其诞生背景，对比CNN、RNN等模型，阐述其在多领域的核心地位。接着剖析工作流程、实现原理，包括QKV机制、多头注意力等。最后列举T5、GPT等常见架构模型，并提及通义千问3与MCP协议。
社区供稿丨Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI发布2.4B参数量的视觉语言模型Jina - VLM，在多语言视觉问答任务达SOTA。它引入注意力池化，连接视觉与语言基座，处理问答等任务，对硬件要求低，多项测试表现优，还介绍架构、训练策略和上手方式。