「低token高压缩」共找到 1792 篇相关文章
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
借助 AI Coding 快速打造 AI Agent 系统
文章围绕购物场景生成AI Agent系统展开，原有低代码方案遇瓶颈，团队转向LangGraph等工程方案，借助AI Coding工具重构上线。介绍了项目需求、挑战，阐述核心架构升级，分享AI Coding开发实践及项目成果与启示。
三个关键词，2026谷歌 I/O大会全说透了
北京时间今天凌晨，谷歌 I/O 2026 落幕。皮查伊称聚焦模型、编程和智能体。模型上，Gemini 3.5 Flash 全量上线，性能超上一代；编程方面，Antigravity 2.0 用低成本造能跑 Doom 的系统；智能体层，Spark 和 Search Agents 让 AI 走出对话框。
Reasoning新突破：SoftCoT++如何让LLM‘多想几条路’？
LLM推理依赖‘思维链’，传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’，拆分‘思考’与‘推理’，用专用初始token和对比学习，实验中全面超越传统方法。
干掉延迟！12G显存就能实现实时AI换脸直播，开源免费。
推荐开源项目PersonaLive，它是基于自回归流式扩散技术的实时人像动画生成框架。能平衡画质与低延迟，用一张照片在普通显卡实现数字分身实时驱动，有低显存、无限时长等特点。
Agent 形态一天一个样，Infra 到底该为谁而建？
过去一年，Agent 应用形态多变，但进入稳定生产环境的项目有限。清程极智师天麾认为，Agent Infra 重要性待显，当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
2.5K Star 牛皮项目，512MB内存就能跑，树莓派、旧电脑秒变专属云桌面！
介绍开源Web桌面操作系统ArozOS，它由香港开发者tobychui为低功耗设备设计。始于2016年，用Go语言编写，在Github获2.5K star。功能强、资源占用低、易安装，能让旧设备变个人云桌面。
阿里发布首个「音视频实时交互」模型，实现数字人实时视频聊天
阿里发布原生流媒体端到端模型Wan - Streamer v0.1，能实时聆听、观看、思考、说话和响应视频。它在单个Transformer内完成感知等操作，延迟低，具备端到端多模态统一、低延迟等特点。
ACL 2026｜答得更准还写得更短？华为泰勒实验室提出SHAPE，给LLM推理装了个「推理税」
华为泰勒实验室等团队提出 SHAPE，给推理链装「里程碑 + 推理税」机制。它分三步，能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示，它提升准确率、降低 token 消耗，还解决了推理坍缩等问题。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。