「高性能框架」共找到 4571 篇相关文章
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长，此前方法难公平比较。团队提出「KV 足迹」指标，改进方法并推出 PruLong 优化内存，节省空间且保性能。
The Btch：838 | 苹果加强生成式 AI 布局
苹果更新 Apple Foundation Models（AFM）系列，含设备端和服务器端版本，还发布 Foundation Models 框架。AFM 模型架构特别，训练有优化，测试表现有差异。此前苹果论文引争议，此次或是其重启 AI 战略之举。
数据合成有没有未来？事实结论来了
有人认为用大模型合成数据可快速生产，无需人工标注。但作者观察发现人工标注不仅必要且要求更高。以Scale AI、Surge AI为例说明标注价值，还展示‘智能知识’团队对两数据集审查结果，证明高质量数据需专家和管理流程。
亿级日活App的“算力生死劫”：推理成本倒挂，他们靠跨云架构砍掉75% GPU集群
一家AI穿搭+购物推荐的出海应用DAU破亿，但算力和传输成本高，ARPU远低于成本。该企业转向Akamai推理云，换用RTX PRO 6000，缩减服务器集群，降低成本，采用跨云架构过渡，实现零阵痛平替。
阶跃开源JetSpec，大模型推测解码提速近10倍
随着Agent应用爆发，大模型推理效率成AI行业焦点。阶跃星辰联合多校团队开源JetSpec，该框架面向推测解码，在H100上把MATH - 500解码速度提升到9.64倍，突破了推测解码的扩展天花板。
AI学会左脚踩右脚自进化？Meta华人新研究改写Agent法则
Meta华人学者Jenny Zhang联合多机构研究者提出新智能体框架HyperAgents（DGM - H）。它打破任务能力与自我改进能力需对齐的局限，能跨任务自我改进，还自动生成基础设施，或改写Agent竞争规则。
字节版龙虾架构火爆GitHub！开源获35k+ Star，内置Skill全家桶，原生适配飞书
字节开源Deer - Flow2超级智能体管理框架，登上GitHub Trending榜首，获35.3k Star。它采用模块化多智能体架构，主打开箱即用，扩展性强，适配多种IM渠道，还介绍了核心能力、部署方式等。
360 如何用 AutoMQ 解决千亿级 Kafka 冷读难题
360 集团作为互联网安全公司，业务数据规模膨胀，Kafka 集群运维难题凸显。AutoMQ 存算分离等特性适配 360 需求，360 验证其性能后用于日志检索平台，解决冷读难题，未来将推广到更多业务线。
超棒Claude官方提示词：Anthropic发布Claude 4.x提示工程最佳实践
Anthropic发布Claude 4.x提示工程最佳实践，这些原则在顶尖大模型中一般通用。它强调精准指令驱动性能，构建记忆与状态管理机制，优化工具调用编排，激发高阶认知与专业输出，重塑代码美学与工程规范。
个人电脑也能进行智能体RL训练？尤佳轩团队开源OpenTinker
伊利诺伊大学厄巴纳 - 香槟分校尤佳轩团队开源OpenTinker，这是全新‘强化学习即服务’系统。它通过解耦架构和友好API，让开发者在不同算力设备启动智能体训练，解决传统RL框架难题，指明下一代智能体基建方向。