「百万Token计算」共找到 1435 篇相关文章
微软深夜发布SambaY架构,Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型,扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行速度比前代快10倍,有诸多优点。
「有望成为Transformer杀手」,谷歌DeepMind新架构MoR实现两倍推理速度
谷歌DeepMind发布新架构MoR,有望成Transformer杀手。它统一实现参数共享、自适应计算,兼顾性能与效率。实验显示其推理吞吐量提升,降低计算需求,但能否取代Transformer存疑。
Transformer终结者!谷歌DeepMind全新MoR架构问世,新一代魔王来了
KAIST、谷歌DeepMind等机构发布的MoR架构,推理速度翻倍、内存减半,重塑LLM性能边界,碾压传统Transformer。它融合参数共享与按需计算,有路由和KV缓存策略,实验显示其性能优越、可扩展性好。
千万养虾人的终极梦想!全球首个「养虾本」带你懒人养虾开箱即食
荣耀发布自研 YOYOClaw 龙虾技术,首发于 MagicBook 系列,开创「养虾本」品类。该技术预置龙虾能力,具备自主学习,节省 50% Token,有设备级防护,实现多端共享,推动 AI 产业范式转变。
昇腾MindSpeed:分布式训练加速库的创新实践与突破
在2025年QCon全球软件开发大会上,华为工程师郑加利分享昇腾MindSpeed分布式训练加速库。它在计算、通信、显存等多维度优化,提升训练效率,还介绍业界加速库及MindSpeed架构,阐述多种优化策略。
mcpx?要来拯救mcp!让工具调用不再吃掉你的上下文
MCP传统集成方式需在对话前加载所有工具定义,易使上下文溢出。开发者cs50victor基于mcp - cli构建mcpx,按需发现工具,大幅节省token,提升准确率,适合本地部署,虽有额外推理调用,但利大于弊。
复旦提出自适应Reasoning方法ARM,“能屈能伸”
复旦提出自适应Reasoning方法ARM,解决LLM‘过思考’问题。ARM内置四种解题策略和三种决策模式,还搭配Ada - GRPO算法,在23个数据集测试中表现出色,省token、提速度且准确率高。
Meta新研究:字节模型蒸馏后,天花板破了
本文介绍Meta FAIR与华盛顿大学合作的最新研究,针对传统大模型蒸馏Token候选空间大、存储成本高的痛点,提出字节级蒸馏方案,验证其可突破Token天花板提升模型能力上限。
震撼全网,AlphaEvolve矩阵乘法突破被证明为真!开发者用代码证实
开发者用Claude写代码证实谷歌DeepMind的AlphaEvolve求解矩阵乘法的突破为真,它将4×4复数矩阵计算次数从49次减到48次。小哥测试代码各项指标与论文报告一致,还上传到GitHub。
对话上交大程远:AI的终局不在云端,而在“感算一体”的物理世界
文章围绕端侧 AI 展开,以上海交通大学程远研究为例,探讨其技术方向“感算一体”,还提及 Agentic AI 热潮,对比其与大模型热区别,阐述端侧与云端关系,及光计算等底层硬件创新对智能设备的影响。