「LLM OS」共找到 1022 篇相关文章
仅保留35% Token，性能反超原模型！快手可灵等用视觉信息引导音频压缩，推理时间直降42%
Omni - LLM计算浪费严重，快手可灵等团队提出OmniSIFT框架。它利用音视频非对称依赖关系，通过时空联合剪枝压缩视频、视觉引导筛选音频Token，大幅减少Token数量，提升性能和推理效率。
《动手写AI Agent》会话与记忆：记住上次聊到哪了
文章围绕《动手写AI Agent》的会话与记忆展开，指出LLM无状态、无会话持久化会让对话记录丢失。介绍了解决方案，如把对话存到磁盘及构建长期记忆，阐述设计决策并提到文件系统存储方案。
提速79%！上交大新方法优化企业级AI流程调度 | IEEE ICDCS’ 25
上海交通大学朱怡飞教授团队联合江行智能提出调度框架LLMSched，解决复合LLM应用任务运行时长和结构不确定问题。该框架重构DAG模型，用贝叶斯网络和熵减机制优化调度，实验显示最多降79%平均任务完成时间。
号称1200万token上下文的模型来了，数据亮眼但疑点重重
当地时间5月5日，Subquadratic公司推出模型SubQ，称是LLM智能重大突破，有1200万token上下文。数据亮眼，如在1M token场景比FlashAttention快52倍等，但也引发质疑，有人推测是对开源模型微调，官方未公布详细模型卡。
Karpathy实测Opus 5：读一段《魔戒》，10美元直出中土世界！
Andrej Karpathy 用 Opus 5 结合《指环王》开篇文字，花约 10 美元让其渲染 3D 游戏。Opus 5 两小时写出 5500 行代码生成 3D 世界，虽粗糙但证明 AI 强大。不过，LLM 无法高效审查自己工作，这是弱点。
阿里SkillClaw：让 Agent 技能在真实使用中集体进化
当前LLM Agent依赖可复用技能完成任务，但技能部署后静态不变，改进仅停留在当前会话。阿里SkillClaw提出中心化进化架构，将多用户交互作为技能改进信号，通过Agentic Evolver更新技能，经夜间验证后部署。
不止于量化：最新综述用「时-空-构」三维视角解构KV Cache系统级优化
随着LLM向1M上下文演进，KV cache成推理服务效率核心瓶颈。墨尔本大学和华中科技大学研究者发布深度综述，用「时间 - 空间 - 结构」视角梳理KV cache优化方法，还归纳关键观察、提出开放挑战，并整理了资源库。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
可塑的计算机Omarchy爆火硅谷，龙虾之父自掏100万投资
Ruby on Rails 作者 DHH 推出 Linux 发行版 Omarchy，将 AI agent 嵌进系统底层，有独特设计和功能。自带安装脚本，安装快。获十位大佬各 100 万美元赞助，多家系统也在探索 AI 嵌入，它有望开启 Agent OS 时代。
从少样本到千样本！MachineLearningLM给大模型上下文学习装上「机器学习引擎」
新研究 MachineLearningLM 提出轻量可移植「继续预训练」框架，突破 LLM 在上下文学习局限，能学上千示例，在多领域分类任务超基准模型。它有三项核心创新，效果惊艳且应用潜力大，还指明未来研究方向。