低token高压缩」共找到 1719 篇相关文章

产品应用7

调高一档推理强度,成本可能翻几倍:大模型思考原理讲清楚

文章详细讲解推理强度原理,指出其不改模型,只改草稿长度。还说明模型多思考能提高答题准确率的原因,剖析贵和慢的原因,介绍三种控制形态,并给出判断推理强度档位的框架。

AI Reading Hub
开源动态7

知名产品工程师开源「一整套编程skill」,每个人都能有顶级的工程习惯

现在用AI写代码存在效率、浪费token等问题,知名开发者tw93发起开源AI编程skill库Waza,将顶尖工程师习惯转化为Claude Code可运行技能,推出8实用技能,还提供两个小脚本。

开源AI项目落地
开源动态8

清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线

清华、西交联合开源发布CHEERS,提出面向统一多模态理解与生成的架构路线,在保持系统简洁前提下,统一理解与生成任务,继承开源预训练模型知识,在多项基准测试中表现优异,还实现4× token压缩

机器之心
技术分析类文章7

Pingpong Schedule并不是万能钥匙

SGLang社区开发者反馈,SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致,因算力提升,其使TensorCore未充分利用、TMA效率,建议用Cooperative策略。

GiantPandaLLM
开源动态8

SimpleTIR:让大模型“边写代码边思考”不再崩溃

SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。

AI科技评论
算法论文8

ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’?揭秘 LLM 对齐的脆弱根源

本文分享 ACL 2025 最佳论文,指出预训练大模型存在‘抗对齐’的 Elasticity 现象,即对齐微调只是暂时拉伸,后续微调会让其迅速弹回预训练分布。研究量化该概念,用‘压缩理论’刻画对齐并实验验证。

PaperAgent
产品应用8

用嘴聊出来了一个 APP:实测「码上飞」语音开发有多离谱

本文实测「码上飞」AI 开发平台,它让用户用对话或语音描述需求,AI 就能做出应用。测试了美甲预约、AI 生图、私域自媒体知识付费小程序三个场景,它表现出色,大幅压缩开发成本,助普通人跨过技术门槛。

特工宇宙
技术文章7

让NCCL性能起飞的NCCL symmetric memory是啥黑科技?— part1

本文是NCCL 2.27新特性系列首篇,介绍symmetric memory。它类似NVSHMEM,现仅支持单节点通信,未来将支持跨节点。其延迟内核能提升小数据通信性能,还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。

GiantPandaLLM
7

蚂蚁投了一家具身智能公司,做手的

具身智能市场火热,灵心巧手完成数亿元天使轮融资,由蚂蚁集团领投。该公司成立于2019年,此前已有超亿元种子轮融资。其自研灵巧手技术强、成本、销量高,应用广泛,未来将聚焦软硬件协同。

量子位
产品应用7

AI产品先发优势在于用户迁移成本高,持续为用户提供价值是保持竞争优势的关键 | 对话AI智能电子衣橱工具搭搭

文章围绕AI智能电子衣橱工具搭搭展开,介绍其功能、开发逻辑与发展规划。搭搭通过AI算法筛选美图定义美,提供穿搭灵感,注重用户需求。团队投入研发,获客成本,未来聚焦工具,解决穿搭问题,与用户共建产品。

量子位