「Token节省」共找到 710 篇相关文章
清华、西交联合开源发布了Cheers : 一条更简洁、更高效的统一多模态路线
清华、西交联合开源发布CHEERS，提出面向统一多模态理解与生成的架构路线，在保持系统简洁前提下，统一理解与生成任务，继承开源预训练模型知识，在多项基准测试中表现优异，还实现4× token压缩。
马斯克首席AI脑与莱姆病抗争！曾师从丘成桐，杨格宣布辞职
马斯克xAI核心架构师、联创之一杨格宣布离职，转任非正式顾问。他长期与莱姆病斗争，打算康复后复出。杨格是数学天才，师从丘成桐，是Tensor Programs理论之父，其技术为xAI节省大量算力成本。
a16z 提出 AI 产品的「水晶鞋效应」：第一批用户反而是最忠诚的
OpenRouter 报告基于 300 多个模型、100 万亿个 token 交互数据，分析 LLM 应用情况。提出「灰姑娘水晶鞋效应」，即 AI 模型首批用户留存率更高，与传统 SaaS 玩法相悖，还通过案例分析其表现及对 AI 创业的影响。
下一代目标检测模型：3B参数MLLM Rex-Omni首度超越Grounding DINO，统一10+视觉任务
IDEA研究院团队用3B参数的Rex - Omni打破MLLM目标定位精度僵局。它统一视觉任务，结合坐标编码与强化学习，在多项检测基准超Grounding DINO等，解决定位和行为缺陷，为MLLM成下一代检测模型提供方案。
SimpleTIR：让大模型“边写代码边思考”不再崩溃
SimpleTIR可解决多轮工具调用中训练崩溃问题。作者指出崩溃原因是分布偏移、低概率token链式雪崩和梯度爆炸。它采用void turn过滤，掐断崩溃链路，训练稳定，还催生多样推理行为，且工程友好已开源。
R2没来，却等来综合性能更优的DeepSeek R1T2
抱抱脸热门排行榜出现R1变体模型DeepSeek-TNG-R1T2，构建于多个父模型之上，在智能与输出token长度间达新平衡点，速度快且测试表现佳，还给出与不同模型对比的选择建议。
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，探讨大模型端侧部署难题。团队自研推理框架，实现180 tokens/s推理速度，采用共享基座架构支持多业务。未来端侧大模型突破依赖硬件提升与架构演进。
亚马逊码农噩梦来袭！沦落「仓库工人」，每天流水线分拣「AI代码」
AI工具广泛引入亚马逊编程工作，虽提升效率，但让程序员工作节奏变快，像流水线工人。亚马逊管理层推崇AI，认为能降成本提效率，可程序员担心创造力被扼杀、职业发展受影响。此外，实验显示AI编码助手能提升开发人员效率。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
手机跑多模态也能快到飞起！面壁MiniCPM-V 4.6开源
面壁智能开源多模态模型MiniCPM-V 4.6，以低算力成本、超低首Token延迟打通三大主流手机操作系统。它算力瘦身性能强，是视觉语言多面手，还适配主流系统，降本增效，让AI能力从云端到指尖。