搜索：高效注意力机制

「高效注意力机制」共找到 1489 篇相关文章

跨层压缩隐藏状态同时加速TTFT和压缩KV cache!

论文 UNCOMP 被 EMNLP 2025 主会接收，提出高效推理框架，用截断矩阵熵解释 LLM 稀疏化，据此设计 UNCOMP 框架，通过压缩隐藏状态优化 KV Cache，实现计算与内存联合优化，实验效果显著。

AI视频初创公司Video Rebirth完成5000万美元融资，由刘威博士创立，致力于打造“视频原生的世界模型”。融资用于视频模型迭代等，解决行业痛点，其核心创新机制让模型表现突出。

现代LLM依赖显式文本生成训练“思考”，未充分挖掘预训练数据潜力。字节Seed团队联合多家机构推出循环语言模型Ouro，将推理能力构建到预训练阶段，实现参数效率提升，还降低了有害性。

在大数据和大模型推动下，遥感微调技术从全参数微调发展到混合微调。清华等团队在CVMJ期刊梳理技术脉络，涵盖适配器、提示等微调方法，还指出9个潜在研究方向，助力遥感技术应用。

AI健康管理产品众多，多数陷入同质化或功能堆砌困局。OtterLife将虚拟海獭融入健康习惯养成，上线一年用户破百万。量子位智库对话其负责人相城，探讨产品特色、市场、设计等多方面问题。

10月30日，摩尔线程科创板IPO注册获证监会许可，是科创板‘1+6’改革后高效完成注册的硬科技企业。其从受理到过会仅88天，构建智算产品线，夸娥万卡智算方案优势明显。

随着文图生成模型广泛应用，其安全防护机制有限。ICCV 2025上，港科、牛津大学推出AlignGuard，是文图生成模型可规模化安全对齐框架，通过生成CoProV2数据集等实现安全对齐，实验效果佳。

作者分享在 Amazon Bedrock 用 AI 智能体写代码的项目经验，指出人与智能体协作使代码产出率大幅提升，但也带来 Bug 增多、CICD 管线阻塞、沟通成本增加等挑战，需重新思考软件开发方式。

北大联合小红书提出的 Uni - Instruct 框架被 NeurIPS 2025 接收，它统一超 10 种单步扩散模型蒸馏方法，在多项任务达最佳性能，还能用于文本到 3D 生成。

清华大学智能产业研究院与上海人工智能实验室联合发布通用跨本体具身基座模型X-VLA。它是首个实现120min无辅助自主叠衣的全开源模型，仅0.9B参数量就在五大权威仿真基准刷新纪录。