「推理缓存优化」共找到 3038 篇相关文章
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
用户被通知烦到关掉 Instagram？Meta：我们反思了，用 AI 给自己“限流”
Meta为Instagram推出新机器学习排序框架，引入‘多样性算法’，在现有互动模型上加‘多样性过滤层’，通过‘乘性惩罚’减少重复内容推送，解决通知疲劳，还计划探索新策略和用大语言模型优化。
硅谷今夜集体失眠！互联网女皇340页AI报告猛料刷屏，大佬熬夜头秃
互联网女皇Mary Meeker暌违六年，发布340页《AI趋势报告2025》。报告指出AI使用成本下降，推理成本暴跌，中国模型以低成本崛起，中美在AI模型争霸，还提及ChatGPT的辉煌与未来潜在挑战等。
LLM省钱大测评！48块GH200，首个百亿级参数量实证
EfficientLLM项目聚焦LLM效率，提出三轴分类法和六大指标，实验覆盖多方面。研究表明效率优化需权衡，最优策略因任务和模型规模而异，且相关技术可迁移到跨模态模型，成果将开源。
仅2G内存可跑，刚刚，谷歌开源Gemma 3n，端侧原生多模态！
谷歌全面发布Gemma 3n，将多模态AI功能带入边缘设备并在Hugging Face开源。它原生支持多模态输入输出，针对设备端优化，内存占用低，采用开创性架构，Gemma系列质量也不断突破。
AI开源狂飙，OpenAI们慌了！GenAI大洗牌，2025趋势深度解读
2025年，ChatGPT仍领跑，但DeepSeek、Qwen等开源模型加速追赶。独立机构报告总结六大趋势，涵盖技术突破与市场格局演变，如推理模型实用化、MoE架构普及等，开源势力挑战闭源巨头。
Transformer与RNN合体，谷歌打下显存门槛，解锁超长上下文
谷歌论文提出 Memory Caching 技术，通过架构机制创新赋予 RNN「可生长的记忆容量」，兼顾 Transformer 与 RNN 优势，能处理更长文本、降低推理资源门槛，实验显示有良好效果。
Karpathy力荐必读博客：代码功底，决定AI「开挂」倍数！
Karpathy推荐Atharva博客，指出AI是工程师能力放大器，扎实编程基础搭配精准提示，能借AI打造极致产品。文章还给出用AI开发的策略、战术，以及数据库优化实例。
一文读懂 Deep Research：竞争核心、技术难题与演进方向
文章梳理了深度研究系统，包括其发展历程、现有系统差异、技术实现挑战、评估体系及推理架构演进方向。指出竞争焦点转向综合比拼，评估走向专业化，未来系统将在多方面突破。
直播预约 | Evaluation论文分享@ICML&ACL2025
2025年6月11日20:00将直播分享Evaluation论文。多位嘉宾参与，涉及SyncPL奖励建模、文本事实一致性验证、大模型评测方法等多领域论文，涵盖模型优化、基准测试等内容。