token压缩」共找到 811 篇相关文章

开源动态8

超长推理还能节省计算!Salesforce开源神器两连发:教大模型边想边省,显著提升数学编程准确率

Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分,分配token预算,使输出缩短、准确性提高;后者打碎推理链条,从三维度采样,以更少tokens换更高准确率,均提升数学和编程任务准确率。

量子位
算法论文8

3D高斯泼溅,可输入视图量高达500!推理速度提升3倍,内存少80%

ZPressor能高效压缩3D高斯泼溅(3DGS)模型的多视图输入,解决其在处理密集视图时的性能瓶颈。它基于信息瓶颈原理,分三步压缩信息,降低内存占用和推理时间,提升3DGS在高视图输入下的性能。

新智元
推荐文章7

当我问deepseek有什么延长周末的好方法

作者询问DeepSeek延长周末的方法,其给出工作日压缩、周末扩容、心理延展、进阶管理等策略,还介绍建立“时间折叠”意识,不少豆友分享实践感受。

每日豆瓣
开源动态7

OpenClaw引爆的AI Agent浪潮中,终于有芯片给端侧“解渴”了

OpenClaw让AI Agent成产业竞赛焦点,但云端方案算力、成本和安全问题凸显。瑞芯微推出端云协同方案ClawChips,采用算力解耦架构,在成本与场景适配间找平衡,还开源并提供开发套件借用权益。

芯师爷
新闻资讯7

“Claude Skills很棒,可能比 MCP 更重要”

10月17日,Anthropic发布Claude Skills,是助其模型获新功能的模式。Claude用Skills可改进执行特定任务方式,且只在相关时调用。它易共享,可能比MCP更重要,实现依赖编码环境。

InfoQ
产品应用8

告别卡脖子,华为黑科技破局!昇腾推理加速1.6倍打破LLM降智魔咒

大模型参数规模大,推理部署难。华为诺亚提出Pangu Light框架,结合算法创新与国产昇腾平台,通过跨层注意力剪枝等技术,解决剪枝后模型失稳问题,实现高压缩率、推理加速与高精度。

新智元
算法论文8

DeepSeek点燃大模型效率之争,阶跃火速接棒:JetSpec让大模型解码速度最高提升近10倍

近期,DeepSeek发布DSpark,阶跃星辰发表JetSpec论文,二者聚焦大模型推理效率。DSpark关注验证效率,JetSpec从Draft生成本身入手。结果显示,二者都有加速效果,共同表明推理效率正成Agent落地关键变量。

量子位
新闻资讯8

老黄公开叫阵谷歌,一个能打的都没有!首次承认低估了Anthropic

在近两小时播客中,英伟达CEO黄仁勋与主持人深度对话,重申技术护城河,对全球竞争格局表达预判。他叫阵谷歌TPU、亚马逊Trainium上MLPerf打擂,无人应战;还承认低估Anthropic,阐述英伟达商业哲学。

新智元
算法论文8

让思考更准更长!强化学习新算法FIPO来了

阿里通义实验室Qwen Pilot团队发布系列博客剖析大模型强化学习机制与局限,推出新算法FIPO。该算法引入Future - KL机制,解决‘推理长度停滞’问题,在多项测试表现优异,还介绍招聘信息。

千问大模型
新闻资讯8

黄仁勋暴论核弹:AGI已经实现,Ilya错了,程序员有10亿

在Lex Fridman的专访中,黄仁勋抛出诸多惊人观点,如称已实现AGI,反驳Ilya“预训练触顶”言论,认为推理计算难且重要,还对未来技术、行业、职业发展等多方面进行展望。

量子位