「高效注意力机制」共找到 1489 篇相关文章
AI 行业悄悄统一了一件事：Agent Skills 开放标准全解析
Agent Skills 是一套开放标准格式，超 30 家主流 AI 开发工具已采纳。它结构简洁，有精妙的三层加载机制，解决了 AI Agent 上下文窗口问题。与 MCP 解决不同层面问题，生态正快速成型。
Karpathy强推，大厂抢着「复古」命令行，Star数全都上千了
飞书、钉钉、企业微信接连推出 CLI，GitHub Star 数上千。CLI 是传统人机交互方式，契合大语言模型运作逻辑，国内外多家公司及项目推出相关工具，还给出为智能体构建 CLI 的设计模式。
做RAG这一年，最后悔的就是上知识图谱
基于知识图谱的检索增强生成在问答任务中存在三元组索引丢失上下文语义问题，作者提出MDER - DR双阶段框架，在标准测试和特定数据集上性能提升最高66%，还具备多方面优势。
刚刚，小云雀的短剧Agent上线了，背后是字节自己的Seedance 2.0。
字节的小云雀短剧Agent上线，以Seedance 2.0为底层模型。它能根据剧本或设定自动生成高质量短剧，提升了AI短剧创作效率，且不挑风格。文中还介绍了使用流程及剧本创作方法。
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。
正交化之外是什么？微软等提出ARO优化器：训练提速1/3，揭示矩阵优化新「蓝海」
微软研究院联合多校发布论文，提出新优化器 ARO。它将梯度旋转作为原则，能让大模型训练提速约 1/3，比 Muon 高效 10% - 15%，还能全模型优化，揭示了矩阵优化新方向。
不止修bug：Agentic Coding评测走向复杂feature交付新阶段
中国科学院自动化研究所联合华为提出 FeatureBench，构建端到端基础设施并开源。它从单元测试出发构造评测任务，引入多种机制保障任务可执行、可验证，能有效区分模型能力，还提供易用的评测流程。
40倍推理加速！复旦&微软：用「非线性流」拟合复杂轨迹，2步生成媲美原画
ArcFlow是复旦与微软提出的图像生成加速方案，引入非线性流拟合复杂轨迹。它在仅2步推理下保持画质，实现约40倍推理加速和4倍训练收敛加速，微调极少参数，在多模型验证效果出色。
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。
我如何用 Codex 在 5 天内"找回"丢失的源代码
作者早年写的 Electron 画图程序源码丢失，只剩编译版本。受 OpenAI 博客启发，用 Codex 逆向还原，5 天得到能运行的 TypeScript 代码。过程中解决了 Codex 删减内容、上下文有限等问题，还分享了经验。