「混合注意力」共找到 412 篇相关文章
一口气集齐老黄苏妈英特尔，还得是AI，还得是联想
CES 2026上，各大厂商行动显示所有设备将成AI设备，有「物理AI」等新趋势。联想集团杨元庆提出混合AI是推动AI普及的终极路径，联想还发布相关产品，展现其在AI生态的优势。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
高效大规模创新3D重建模型iLRM
多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。
万亿参数狂欢！一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术，介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构，揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
ICCV 2025｜训练太复杂？对图片语义、布局要求太高？图像morphing终于一步到位
图像处理中‘图像morphing’常见又有创意，但以往技术有训练复杂等问题。南洋理工大学等团队提出FreeMorph方法，无需训练实现图像变形，通过改进注意力机制解决特征丢失和过渡不连贯问题，实验效果佳。
JFM | 西北工业大学杨忠鑫、张伟伟等：数据驱动的特定且可泛化的湍流封闭知识发现
本文基于高精度数据结合符号回归等方法重建混合长理论，提出解决泛化性问题的策略。通过槽道等基本流动获普适公式，用于封闭求解RANS方程，在工程附着流中提升精度，为飞行器摩阻预测提供新工具。
115万片晶圆，决定2026年的“芯片战”，苹果、联发科、OpenAI火线入局
2026年“芯片战”激烈，黄仁勋宣称90%的ASIC项目会失败。AI算力芯片出货格局取决于台积电CoWoS产能。英伟达有望拿近60%产能，GPGPU阵营火力强，ASIC用于特定场景，未来或现“GPU+ASIC”混合算力世界。
DeepSeek-V3.1震撼发布，全球开源编程登顶！R1/V3首度合体，训练量暴增10倍
DeepSeek正式上线DeepSeek-V3.1，作为首款「混合推理」模型，将开启智能体新时代。它参数共671B，具强大智能体能力，编程击败Claude 4，训练量大幅扩增，在多方面测试表现出色，稳坐编程开源第一王座。
供需失衡的窗口期里，商汤大装置把国产算力做成了正毛利生意
WAIC期间，商汤大装置举办AI基础设施论坛，展示国产算力成绩单，将国产芯片业务毛利率做到正数。其通过异构混合推理等操作方法论，提升芯片利用率，还在多领域合作，虽红利或收窄，但方法论有长期价值。
大模型如何"不训练"也能学习？——上下文学习的隐式权重更新机制
大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。