「低token高压缩」共找到 1719 篇相关文章
调高一档推理强度,成本可能翻几倍:大模型思考原理讲清楚
文章详细讲解推理强度原理,指出其不改模型,只改草稿长度。还说明模型多思考能提高答题准确率的原因,剖析贵和慢的原因,介绍三种控制形态,并给出判断推理强度档位的框架。
知名产品工程师开源「一整套编程skill」,每个人都能有顶级的工程习惯
现在用AI写代码存在效率低、浪费token等问题,知名开发者tw93发起开源AI编程skill库Waza,将顶尖工程师习惯转化为Claude Code可运行技能,推出8实用技能,还提供两个小脚本。
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS,提出面向统一多模态理解与生成的架构路线,在保持系统简洁前提下,统一理解与生成任务,继承开源预训练模型知识,在多项基准测试中表现优异,还实现4× token压缩。
Pingpong Schedule并不是万能钥匙
SGLang社区开发者反馈,SM90 FP8 Blockwise Scaling Grouped GEMM从H20迁移至H800后性能下降。文章分析是Pingpong调度策略所致,因算力提升,其使TensorCore未充分利用、TMA效率低,建议用Cooperative策略。
SimpleTIR:让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤,掐断崩溃链路,训练稳定,还催生多样推理行为,且工程友好已开源。
ACL'25最佳论文解读 | 大模型也会‘弹簧回弹’?揭秘 LLM 对齐的脆弱根源
本文分享 ACL 2025 最佳论文,指出预训练大模型存在‘抗对齐’的 Elasticity 现象,即对齐微调只是暂时拉伸,后续微调会让其迅速弹回预训练分布。研究量化该概念,用‘压缩理论’刻画对齐并实验验证。
用嘴聊出来了一个 APP:实测「码上飞」语音开发有多离谱
本文实测「码上飞」AI 开发平台,它让用户用对话或语音描述需求,AI 就能做出应用。测试了美甲预约、AI 生图、私域自媒体知识付费小程序三个场景,它表现出色,大幅压缩开发成本,助普通人跨过技术门槛。
让NCCL性能起飞的NCCL symmetric memory是啥黑科技?— part1
本文是NCCL 2.27新特性系列首篇,介绍symmetric memory。它类似NVSHMEM,现仅支持单节点通信,未来将支持跨节点。其低延迟内核能提升小数据通信性能,还介绍使用示例、CUDA内存管理及Symmetric Memory实现等内容。
蚂蚁投了一家具身智能公司,做手的
具身智能市场火热,灵心巧手完成数亿元天使轮融资,由蚂蚁集团领投。该公司成立于2019年,此前已有超亿元种子轮融资。其自研灵巧手技术强、成本低、销量高,应用广泛,未来将聚焦软硬件协同。
AI产品先发优势在于用户迁移成本高,持续为用户提供价值是保持竞争优势的关键 | 对话AI智能电子衣橱工具搭搭
文章围绕AI智能电子衣橱工具搭搭展开,介绍其功能、开发逻辑与发展规划。搭搭通过AI算法筛选美图定义美,提供穿搭灵感,注重用户需求。团队投入研发,获客成本低,未来聚焦工具,解决穿搭问题,与用户共建产品。