「线性注意力架构」共找到 2038 篇相关文章
从全局到部件：腾讯全新开源Hunyuan3D-Part和Omni
腾讯全新开源Hunyuan3D - Part和Omni。Hunyuan3D - Omni支持多模态输入，统一信号到跨模态架构提升融合鲁棒性。Hunyuan3D - Part含P3 - SAM和X - Part，分别用于部件分割与生成，在对应领域达先进水平。
超越GPT-4o和Gemini 2.5！小米MiMo-Audio音频大模型真香
小米推出MiMo - Audio大模型，预训练数据超1亿小时。它在多个基准测试成开源7B模型SOTA，开放相关资源。分词器表现佳，有全新架构，在音频理解、对话、推理等方面表现出色，还集成TTS功能。
智谱AI、清华开源新视觉大模型：刷新41项纪录，同级别最强
智谱AI与清华联合开源GLM - 4.5V视觉大模型，它基于GLM - 4.5 - Air开发，架构独特。在42项主流测试中创41项新纪录，多领域表现超Qwen2.5 - VL等模型，还采用新训练策略。
人格向量：大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移，传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”，实现提前预测、实时监控和主动控制，为AI安全提供数学框架。
京东深夜开源，首个完整通用Agent产品，直指行业SOTA！
京东深夜开源业界首个“开箱即用”完整多智能体产品`JoyAgent-JDGenie`。与大多为SDK或框架的开源项目不同，它是端到端完整产品。在GAIA榜单表现佳，架构清晰且有技术创新，使用和二次开发简单。
上海 AI Lab 庞江淼：开放平台是具身智能“ChatGPT 时刻”的前提｜具身先锋十人谈
上海AI Lab庞江淼认为开放平台是具身智能“ChatGPT时刻”的前提。他早期专注CV，后转型切入底层控制。他指出具身智能Scaling Law非简单线性，还探讨了大小脑融合、VLA技术等，团队发布的Intern - Robotics目标是建开放基础设施。
让大模型上车：理想汽车硬件协同设计算出最佳边缘模型
长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。
万字长文！大模型LLM推理优化技术总结
文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。
MoE不够看了，腾讯推出MoT：2B具身模型22项评测16项最佳
腾讯混元团队联合Robotics X实验室推出HY - Embodied - 0.5系列基础模型，含MoT - 2B和MoE - 32B两款主力模型。在22项评测中，MoT - 2B获16项最佳，其架构、数据和训练有创新，能应用于机器人控制。
GPT-5.4 mini+nano突袭，1/3价格养满血「龙虾」！OpenAI彻底杀疯
OpenAI发布GPT - 5.4 mini和nano，继承GPT - 5.4优势，速度快、成本低。在编码、推理、工具调用等方面表现出色，可作为「龙虾」主力模型。还提出分层调度架构，且全线上线，免费用户也能用，但mini长上下文处理有短板。