「线性扩展效率」共找到 1686 篇相关文章
哇塞!Chrome MCP + OpenAI Whisper = 播客秒变学习笔记
作者分享Chrome MCP + OpenAI Whisper将播客秒变学习笔记的工作流。此组合成本低、无限制、学习成本低,通过实例演示音频下载、转录及划重点等步骤,适用于多种场景,性价比高。
微软深夜发布SambaY架构,Phi-4min加速10倍推理
微软基于Phi - 4 - mini微调出Phi - 4 - mini - Flash - Reasoning 3B模型,扩展到200064 tokens。采用新型SambaY架构,支持64K token上下文长度,运行速度比前代快10倍,有诸多优点。
2K+ star!这款分分钟搭建 AI 知识库的项目,真的绝了!
GitHub上爆火的开源项目PandaWiki,两周揽2K star,是AI大模型驱动的知识库搭建系统。它将AI能力深度融入全流程,有强大富文本编辑等特色,还能灵活部署,适合中小团队和个人开发者。
昇腾910B大模型实测:开源框架能不能打?真相全放这了
文章对昇腾 910B 大模型进行实测,对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型,结果显示两者在不同部署场景各有优势,vLLM 适合单卡小模型,MindIE 适合大模型多卡部署。
MetaShuffling:Meta的Fused MoE kernel工程方案,更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling,可高效部署Llama 4模型。它处理MoE推理挑战,介绍多种token选择路由方案,阐述运行时设计、不同并行化方式及优化思路,还展示性能测试与Trace分析。
让AI学着“看菜下碟”!港中大等新框架让推理长度减少90%,准确率反增17%
香港中文大学等研究者提出TON选择性推理框架,使视觉语言模型能自主判断是否推理。该框架有两阶段训练机制,实验显示其让推理长度最多减90%,准确率还提升,有益模型部署。
Adaptive Reasoning Model:Qwen3混合思考->字节AdaCoT->清华AdaThinking
文章介绍三种处理混合思考模式的方法,阿里 Qwen3 通过 SFT 让模型具备思考能力,但需人为控制;字节 AdaCoT 和清华 AdaThinking 让模型自主决定是否思考,分别用多目标优化和受限优化目标训练。
两周 3 万行代码!我们的 7 个 AI “粪堆求生” 最佳编程实践
作者分享开发 AutoDev Workbench 时用 AI 辅助编程的 7 个实践,包括用 DeepResearch 脑暴需求、多工具构建 UI 原型等,还指出要提升 AI 交互效率和代码质量,形成成熟开发方法论。
极客说|Unsloth 的全微调之路:从 Adapter 到 Full Fine-tuning
大语言模型参数多,微调难。Unsloth 原靠支持 Adapter 微调出名,现支持全参数微调,单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。
快手&中科院 | 提出多模态奖励模型:R1-Reward,比SOTA模型提升5%-15%!
多模态奖励模型对提升多模态大语言模型表现至关重要,但现有强化学习算法用于训练存在问题。快手、中科院等团队提出 R1 - Reward,在基准上比 SOTA 提升 5% - 15%,还在快手业务场景成功应用。