「自注意力层」共找到 1599 篇相关文章
美团龙猫LongCat技术升级！新注意力机制解码速度快10倍，还能处理1M超长文本
美团龙猫LongCat系列发布全新稀疏注意力机制LoZA，重点解决长文本任务难题。它在MLA机制基础改造，计算复杂度降至线性，处理128K上下文解码快10倍，性能不缩水，后续还计划支持动态稀疏比例。
微信、清华连续自回归模型CALM，新范式实现从「离散词元」到「连续向量」转变
腾讯微信 AI 联合清华提出连续自回归语言模型 CALM，它将语言建模为连续向量而非离散词元，显著改善性能与计算成本权衡，解决了 LLM 效率瓶颈，虽面临技术挑战但实验效果佳，还指明未来研究方向。
从AI Build AI到真正RSI：这场张江塔尖会把「自进化」拆到细节
本文报道了在张江AI创新小镇举办的「Triple T」张江塔尖会技术沙龙，沙龙以「AI²：当AI学会自我超越」为题，汇集多位青年学者与产业从业者，围绕递归自我改进（RSI）、自进化AI的前沿研究、实践路径展开讨论，拆解不同场景下的技术进展与待突破瓶颈。
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
Cursor 2.0 来了！自研模型 Composer1，更禅的界面，多代理并行，Browser调试更强大
Cursor 2.0 发布，有诸多升级。它有自研编码模型 Composer1，速度快且适合 Agent 模式；界面更清爽禅意；支持多代理并行，能提升编码效率；浏览器可嵌入编辑器，沙盒终端在 macOS 正式发布等。
蚂蚁dInfer框架，让扩散大语言模型推理速度再飙10倍，相同模型性能下超越自回归模型
蚂蚁开源dInfer框架，联合名校发论文阐述实现细节。它解决扩散模型推理难题，提出创新算法和系统优化策略，实验显示其推理速度远超Fast - dLLM和自回归模型标杆vLLM，代码已开源。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
飞书MCP不好用？我一天自研了人生教练MCP （v3.0）｜ 附：我的AI启发
作者因飞书MCP更新与期望不符，花一天自研人生教练MCP组件。介绍了人生教练Agent特点，还给出启动方法，最后分享在MCP实践中发现的AI趋势及实践总结。
LLM工业级自进化：北邮与腾讯AI Lab提出MoE-CL架构，解决大模型持续学习核心痛点
北邮百家AI团队与腾讯AILab提出MoE - CL架构用于LLM自进化持续指令微调。其结合‘解耦LoRA专家’与‘GAN对抗降噪’，在腾讯业务及基准测试中效果佳，降低人工成本，准确率优于主流方法。
自写驱动越狱！Gemini 3 Pro零败绩通关宝可梦：效率碾压前代8倍「Agent进化太快了」
在全自动《宝可梦 水晶版》对决中，Gemini 3 Pro击败Gemini 2.5 Pro，通关速度至少快2倍，前代或慢8倍。它还展现出诸多能力，如自写驱动绕过限制等，但也存在不验证假设等局限。