「Attention性能瓶颈」共找到 2427 篇相关文章
东方理工团队提出HiDrop：重构MLLM计算路径，压缩90%视觉Token实现2.2倍加速
东方理工大学沈晓宇团队提出HiDrop，基于MLLM不同层功能差异，设计出延迟注入、凹金字塔式剪枝和提前退出的视觉Token压缩策略。实验显示，它能压缩约90%视觉Token，保持98.3%性能，实现训练和预填充加速。
时隔两月，Mistral AI终于上新Medium 3，近期还有「One more thing」
时隔两月，Mistral AI 推出 Mistral Medium 3，性能介于轻量级和大规模模型间，优于 GPT - 4o 等。未开源，可通过官网等使用，专为企业设计，成本低。还预告将推「大型」产品，同时推出企业聊天机器人 Le Chat Enterprise。
Token烧不起了？比肩Claude Opus 4.6免费模型来了，还将开源
昆仑万维旗下天工AI发布SkyClaw - v1.0，为Agent场景深度优化，免费试用后将开源，价格低。性能超同级别开源对手，逼近闭源巨头。训练围绕环境构建、数据合成、强化学习展开，适合长链路Agent工作流。
无限长、零掉帧！StableAvatar口型同步全新技术
当前音频驱动头像视频生成扩散模型合成长视频时难兼顾音频同步与身份一致，瓶颈在音频建模。复旦大学提出StableAvatar，首个端到端视频扩散Transformer，能无限时长生成，还介绍原理与演示效果。
Google研究发现：Multi-Agent的核心竟然是Prompt设计！
Google和剑桥大学研究多智能体系统，发现提示设计影响大，有效拓扑结构占比小。提出Mass框架分三阶段优化，实验用Gemini 1.5 Pro和Flash模型，对比多种方法，在多任务上性能显著提升。
Legora、Mercor 都在用，Reducto 能成为独立的 LLM 数据入口吗？
当前企业AI落地瓶颈在数据质量，Reducto聚焦数据准确性，以文档解析API提供Agentic OCR能力。它获多轮融资，估值达6亿美元，但面临多模态模型竞争及定价等问题，其未来走向待察。
Claude Code迎来大更新：Agent能力增强
Claude Code 2.1.0正式发布，围绕Agent能力、开发者体验和安全性全面升级。有大量功能新增，如技能与Agent的热重载、上下文分叉等；修复诸多问题，还进行了性能、可靠性等方面的优化。
扩散LLM推理新范式：打破生成长度限制，实现动态自适应调节
随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。
Grok 4意外提前曝光，xAI巨额融资700亿，马斯克宣布“重写人类知识库”
xAI的Grok 4提前泄露，团队跳过Grok 3.5直接推出。它被定位为旗舰模型，有强大性能。马斯克欲用其重写人类知识库，但引发争议。xAI融资100亿，建超算中心面临电力问题。
0.7nm制程芯片问世！摩尔定律又活了
IBM推出全球首款0.7纳米芯片制程节点，指甲盖大小芯片可集成近1000亿晶体管，性能或能效大幅提升。靠‘纳米堆叠’架构实现突破，最早5年内量产，有望让芯片微缩延续十年。