「LLM Inference」共找到 974 篇相关文章
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
600万奖池尘埃落定，有人靠DeepSeek网页版拿下冠军
TAAC × KDD Cup 2026大赛落幕，600万奖池揭晓归属。大赛吸引52国13913名选手，竞争激烈。冠军团队分别用DeepSeek网页版等工具，在赛题“统一建模”难题上各展方案，其成果或助广告外的LLM研究。
Fable 5榜单第一靠作弊？代码泄露，模型真实身份曝光
黑客泄露Claude Fable 5长达12万字符的系统提示词，揭示它并非大模型，而是伪装成LLM的完整Agent系统。这颠覆了对AI模型的认知，也让Anthropic陷入舆论漩涡，还暴露了其计费黑幕。
黑客已死！Claude 两周挖出 Firefox 22 个漏洞
Anthropic与Mozilla合作，让Claude Opus 4.6对Firefox代码库做漏洞挖掘，两周发现22个漏洞，14个高危。Claude发现漏洞能力强，但利用漏洞能力弱。还研究用LLM做「补丁Agent」，为AI辅助安全研究建规范。
近期，谷歌发了两篇Agent Scaling论文，有点东西
2025年LLM社区有Test - Time Scaling和Agent化两条主线，但‘更多agent是否更好’无人能定量回答。谷歌两篇论文将agent scaling拆成可预测、可度量的科学问题，涉及预算感知和多agent盈亏平衡点。
a16z 提出 AI 产品的「水晶鞋效应」：第一批用户反而是最忠诚的
OpenRouter 报告基于 300 多个模型、100 万亿个 token 交互数据，分析 LLM 应用情况。提出「灰姑娘水晶鞋效应」，即 AI 模型首批用户留存率更高，与传统 SaaS 玩法相悖，还通过案例分析其表现及对 AI 创业的影响。
Agentic 应用时代，Dify 全链路可观测最佳实践
文章讲述 Dify 平台在 Agentic 应用开发的可观测性挑战，从开发者与运维方视角分析现状、局限与改进方向。云监控推出全景可观测方案，还介绍各组件监控接入步骤及实践指南，最后提及 Qwen - Image 生图优势。
HF日趋榜一！真端到端模型AutoDeco终结手动调参解码
大语言模型手动调参解码繁琐，腾讯AI Lab王琰团队联合港中大（深圳）唐晓莹教授团队推出AutoDeco架构，通过创新训练策略让模型动态预测解码参数，在多模型实验中表现出色且已开源。
Browser Use 推出 Code Use：直接用代码控制浏览器
Browser Use 发布 0.9.0 版本，推出专为爬取数据设计的 Code Use。它开发特殊 Agent 和定制 LLM 输出特定代码，通过 CDP 直接操控浏览器，效率和准确性理论上更高，还给出使用示例，同时提醒了安全问题。
我是微软工程师，编程了30多年，如今我几乎不再编程了
微软资深工程师 Paul Payne 分享编程 30 多年感受，认为 AI 正颠覆软件工程领域。他所在团队研究 LLM 驱动系统，系统从程序员手中接走大量工作，Amplifier 等工具让编程变得更简单，人类程序员价值将升华。