「推理token」共找到 2503 篇相关文章
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时，发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案，启动多个不同配置Kernel，依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
文心新出的推理大模型，给了我们信心
在 WAVE SUMMIT 2025 大会上，百度发布文心大模型 X1.1，是 X1 升级版，发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升，全方位测评表现出色，还开源新模型，展现百度全栈 AI 实力。
无需外部数据！AI自问自答实现推理能力进化
卡内基梅隆大学团队提出SQLM框架，这是无需外部数据的自我提问模型，含提问者和解答者角色。通过强化学习最大化期望奖励，设计自监督奖励函数。实验显示其能提升Qwen2.5 - 3B - Instruct多任务准确率。
MiniMax ARR暴涨500%，token暴涨2000%！这就是Agent红利吧
MiniMax最新数据显示，今年8月ARR超8亿美元，较2月增长约5.3倍。2026年上半年收入同比涨283.1%，B端收入占比升至80%。其增长得益于用户增多和用法改变，M3、H3模型表现出色。
构建分层的 Agentic RAG 系统：具备自主纠错的多模态推理
企业 AI 团队面临 RAG 系统在处理结构化与非结构化数据时的难题。本文探讨用分层多智能体编排解决“模态鸿沟”，介绍 Protocol - H 架构，阐述组件、机制、实现与集成，经基准测试验证其优势，还提及未来研究方向。
iPhone本地跑Gemma 4火了，0 token时代还有多远？
谷歌开源新模型Gemma 4，部分小型号可在手机端本地运行，速度惊人，还有128k上下文窗口。但在处理复杂任务时表现欠佳。未来端侧模型有望蚕食云端高频简单任务，将冲击现有AI商业模式。
重磅！iPhone 端侧可部署 Gemma 4 了！完全零token消耗！
PhoneClaw 是运行在 iPhone 的本地 AI Agent，可离线运行 Google Gemma 4。它支持多模态，有隐私保障和灵活模型管理。文中介绍使用方法、自定义 Skill 方式、常见问题，还提及后续扩展计划。
聊聊 Token 出海的生意经：模型开源给世界，中国赚什么？
本文围绕中国开源模型展开，介绍了 Cursor 使用 K2.5 模型事件，阐述了开源模型供应链，分析了中国开源模型受欢迎原因，探讨小公司技术机会，还提及开源面临的挑战及未来趋势，指出其正改变全球 AI 基础设施格局。
谷歌的DeepSeek时刻：LLM推理加速被干到了8倍
谷歌TurboQuant论文介绍量化算法，能为大语言模型和向量搜索引擎大规模压缩。可将大语言模型KV缓存内存减至少6倍、加速达8倍且精度零损失，还介绍其工作原理及实验结果。
钉钉DeepResearch, 0.008元/1k Token击穿地板价
阿里为7.5亿钉钉用户推出Dingtalk - DeepResearch，解决企业办公AI化痛点。系统采用“三横一纵”架构，有多阶段强化学习等三种解法及DingAutoEvaluator纵向飞轮，实现模型自进化、自纠错。