搜索：线性注意力模块

「线性注意力模块」共找到 501 篇相关文章

吴恩达：不理解计算机的工作原理，你不可能单靠 Vibe Coding 就走向卓越，基础知识依然至关重要

吴恩达指出懂AI的开发者供不应求，但计算机专业应届生失业率上升，因大学课程未跟上时代。他面试看重借助AI助手开发、运用AI基础模块构建应用等能力，强调基础知识仍重要。

KAIST、谷歌DeepMind等机构发布的MoR架构，推理速度翻倍、内存减半，重塑LLM性能边界，碾压传统Transformer。它融合参数共享与按需计算，有路由和KV缓存策略，实验显示其性能优越、可扩展性好。

Karpathy提出未来研究论文不应是PDF格式，未来99%注意力将来自AI，科研成果应为AI优化。此观点源于生物学家Michael Levin关于为AI写作的讨论，引发众多科技思想者回应。

扩散模型时间特征对量化敏感，现有量化方法会致其扰动，影响图像质量。港科大等多校团队提出TFMQ - DM框架，优化时间特征相关模块，提升低比特量化性能，实现硬件加速。

阿里巴巴达摩院提出全自回归模型 WorldVLA，首次融合世界模型与动作模型，统一文本、图片、动作理解和生成。它用独立编码器处理多模态数据，还提出策略解决误差累积问题，实验表现优异。

ZPressor能高效压缩3D高斯泼溅（3DGS）模型的多视图输入，解决其在处理密集视图时的性能瓶颈。它基于信息瓶颈原理，分三步压缩信息，降低内存占用和推理时间，提升3DGS在高视图输入下的性能。

AI模型用于工业异常检测获新SOTA，相关论文中稿CVPR 2025。复旦大学、腾讯优图实验室等机构研究人员设计基于扩散模型的少样本异常图像生成新模型DualAnoDiff，实验显示其性能更优。

近年来大模型号称有百万字处理能力，但这是真本事还是噱头存疑。论文用LongCodeBench测评工具揭开长上下文模型真实表现，测试顶尖模型发现长文本能力‘翻车’，还分析了长上下文难的原因及面临的瓶颈。

邢波教授新作《智能体模型批评》上线 arXiv，质疑当下被称为「智能体」的系统是否名副其实。论文将其分为两类，沿五维度拆解主流设计，提出 GIC 架构，还探讨了安全问题，指出要让能力内化进模型。

南洋理工大学陶大程教授团队联合发布评测报告，揭示扩散语言模型在智能体能力上有系统性缺陷，落后自回归模型。还分析其失败原因，提出评测框架，明确能力边界并给出研究建议。