「Tokens/s」共找到 845 篇相关文章
五倍推理加速，激发自回归潜能，苹果新工作让LLM预测未来
近年来自回归训练方法成语言模型主流范式，但推理阶段计算开销大。苹果研究人员开发框架，让预训练自回归大模型多 token 预测，代码和数学任务推理加速达 5.35 倍，一般任务约 2.5 倍。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token，LLM式视觉编码器用双流注意力驱动因果建模等，还采用三级训练流水线提升效率。
Reasoning新突破：SoftCoT++如何让LLM‘多想几条路’？
LLM推理依赖‘思维链’，传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’，拆分‘思考’与‘推理’，用专用初始token和对比学习，实验中全面超越传统方法。
Agent 形态一天一个样，Infra 到底该为谁而建？
过去一年，Agent 应用形态多变，但进入稳定生产环境的项目有限。清程极智师天麾认为，Agent Infra 重要性待显，当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
ACL 2026｜答得更准还写得更短？华为泰勒实验室提出SHAPE，给LLM推理装了个「推理税」
华为泰勒实验室等团队提出 SHAPE，给推理链装「里程碑 + 推理税」机制。它分三步，能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示，它提升准确率、降低 token 消耗，还解决了推理坍缩等问题。
微软深夜发布SambaY架构，Phi-4min加速10倍推理
微软基于Phi-4-mini版本，针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型，将其扩展到200064 tokens。采用新型SambaY架构，支持64K token上下文长度，运行快10倍，有诸多优点。
马斯克星舰试验再创历史！3次爆炸3次推迟终成功，顺利完成太空载荷部署
美国中部时间26日晚，马斯克星舰第十次发射试验圆满成功。此次采用B16+S37组合，历经助推器返回、载荷释放、太空再点火等环节，虽过程波折，多次推迟和爆炸，但终达成目标，向太空探索迈进。
2026AI原生基础设施白皮书｜甲子光年智库
甲子光年智库联合蓝耘科技发布《2026AI原生基础设施白皮书》，分析AI产业新阶段下AI基础设施的演进方向，提出以Token为核心的新范式，分享国内企业的实践探索。
GPT-5.4一周狂赚10亿美元ARR！一句嗨烧掉80刀，效率却飙升32倍
OpenAI总裁披露，GPT - 5.4上线一周，每天处理约5万亿token，带来10亿美元年化净新增收入。它成本和token消耗量高，但效率提升32倍。作为“大一统”模型，它智能水平出色，原生支持电脑操作。
WAIC 2025大黑马，一个「谢耳朵AI」如何用分子式超越Grok-4
当Grok - 4讲冷笑话时，中国科学家用书生Intern - S1破解癌症药物靶点密码。7月26日上海AI实验室发布并开源Intern - S1，多模态能力全球开源第一，相关平台也上线，有望重构科研生产力。