「混合推理方案」共找到 2916 篇相关文章
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
AI真有希望考清北了！豆包1.6多模态推理发威，闯关数理化带图大题
火山引擎原动力大会发布豆包大模型1.6，它是国内首款多模态SOTA模型，支持256k上下文长度。实测中它解答高考数理化带图大题表现出色，还具备图像识别、视频理解、GUI操作等能力。此外，火山引擎还推出系列工具和平台助力企业。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。
超长推理还能节省计算！Salesforce开源神器两连发：教大模型边想边省，显著提升数学编程准确率
Salesforce AI Research开源Elastic Reasoning和Fractured Sampling。前者将推理流程分两部分，分配token预算，使输出缩短、准确性提高；后者打碎推理链条，从三维度采样，以更少tokens换更高准确率，均提升数学和编程任务准确率。
G2ConS将微软GraphRAG的成本被打下来了~
传统Text - RAG处理多跳推理表现不佳，GraphRAG虽能提升准确率，但成本高。作者提出G2ConS方案，在3个多跳QA基准全面SOTA，平均节省30%费用，EM提升31.44%，整体流程仅3步。
NVIDIA技术沙龙 《大规模EP优化：PD分离MoE并行方式》课程笔记
本文是NVIDIA技术沙龙课程笔记，介绍大规模EP优化的PD分离MoE并行方式。涵盖PD分离、大规模专家并行等五项关键技术创新，还对比多模型架构，展示推理服务架构性能特点与优化策略，以及各技术工作流程和效果。
Claude与人类共著论文，苹果再遭打脸！实验黑幕曝光
苹果一篇质疑大模型推理能力的论文引发争议。Open Philanthropy研究人员联手Anthropic发表论文，揭露苹果论文三大缺陷，指出部分测试无解却让模型“背锅”，还给出正确评价大模型推理能力的方法。
刚刚，OpenAI前CTO：战胜LLM不确定性的方法找到了！
OpenAI前CTO创立的Thinking Machines Lab发布研究《战胜LLM推理中的不确定性》。研究指出LLM推理不确定性主因是批处理大小变化，而非常见认为的GPU并行性等。还给出实现批处理不变性的方案及实验结果。
中学生就能看懂：从零开始理解LLM内部原理【十三】｜GPT 架构如何工作 ？
本文是对GPT架构工作原理的解读。介绍了GPT与Transformer的关系，阐述其从输入文本到预测下一词概率的流水线，详述训练和推理流程，还提及GPT架构进化的混合专家（MoE）模型。
256块NPU训成8B视频模型、超越Sora等一众闭源！抖音内容技术团队开源ContentV
近日，抖音内容技术团队开源ContentV，这是面向视频生成任务的高效训练方案。用256块NPU约4周训成8B参数模型，在多评估维度效果与主流方案相近，还探索了有限算力下训练路径，现推理代码与权重已开放。