「百万Token计算」共找到 1374 篇相关文章
狂拿大模型明星订单,一家清华系HPC-AI Infra公司浮出水面
本文介绍清华系计算创业公司是石科技,其93年创始人闫博文不囤算力仍拿下大模型明星公司订单。团队技术实力强,3次获戈登·贝尔奖。公司构建全栈能力,为多领域提供服务,未来想以算力赋能各行业。
The Batch:826 | 提高输出准确性的记忆层
通常提高大语言模型事实准确性需更大模型规模,会增加计算成本。Meta研究人员在transformer架构加可训练记忆层,可高效存储提取信息,提升计算效率,测试显示其能提升模型输出质量。
DeepSeek-OCR 2 架构创新性能暴涨 3.73%
DeepSeek-OCR 2核心技术突破集中于DeepEncoder V2架构创新与端到端优化。如视觉Tokenizer低参高效压缩Token,LLM式视觉编码器用双流注意力驱动因果建模等,还采用三级训练流水线提升效率。
递归神经网络的复兴:Mixture-of-Recursions
Google DeepMind研究者设计的语言模型,能判断关键单词并进行深度递归计算,通过轻量级“路由器”节省计算资源,在同等训练成本下表现显著优于传统模型,文中还提及其他解决动态算力分配问题的思路。
Reasoning新突破:SoftCoT++如何让LLM‘多想几条路’?
LLM推理依赖‘思维链’,传统方法在离散token空间生成步骤有信息丢失、多样性不足问题。SoftCoT++在连续空间生成‘软思维’,拆分‘思考’与‘推理’,用专用初始token和对比学习,实验中全面超越传统方法。
Agent 形态一天一个样,Infra 到底该为谁而建?
过去一年,Agent 应用形态多变,但进入稳定生产环境的项目有限。清程极智师天麾认为,Agent Infra 重要性待显,当前应提高 Token 生产交付效率。还探讨了 Agent 发展问题、Token 相关指标及收费模式等。
ACL 2026|答得更准还写得更短?华为泰勒实验室提出SHAPE,给LLM推理装了个「推理税」
华为泰勒实验室等团队提出 SHAPE,给推理链装「里程碑 + 推理税」机制。它分三步,能统一势能增益度量、阶段难度感知和 token 效率约束。实验显示,它提升准确率、降低 token 消耗,还解决了推理坍缩等问题。
微软深夜发布SambaY架构,Phi-4min加速10倍推理
微软基于Phi-4-mini版本,针对特定推理任务微调出Phi-4-mini-Flash-Reasoning 3B模型,将其扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行快10倍,有诸多优点。
快9倍还更清晰?Direct3D-S2一键解锁高效3D生成
在高分辨率三维形状生成中,传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架,基于稀疏体积构建,有空间稀疏注意力机制,加速计算,还引入统一格式VAE,生成质量领先,训练成本更低。
1万块GPU砸向欧洲!老黄怒怼AI末日论:全球首个工业AI云来了
巴黎GTC大会上,黄仁勋表示AI是伟大平等工具,驳斥AI致大裁员预测。英伟达卖1万块GPU建工业AI云,还宣布DGX Lepton项目。此外回顾AI发展,从感知到具身智能,介绍其应用及加速计算等成果。