「推理优化技术」共找到 5284 篇相关文章
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
Unsloth让大模型跑在手机上！
Unsloth放出教程，可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化，Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失，还给出iOS和Android部署步骤及注意事项。
大模型热度退潮，真正的技术创新者开始被「看见」
过去两年中国大模型投资多是商业模式驱动，而技术投资注重创新。DeepSeek 出圈后，独立创新成主流。今年国内大模型吸金热度下降，但智谱 AI、面壁智能仍获融资。面壁智能发布 MiniCPM 4.0，在多方面优化，展现端侧优势。
英伟达为何持续押注VASTData？AI存储正在成为新的“算力”｜甲子光年
AI产业曾聚焦GPU，如今数据存储设施重要性凸显。VAST Data完成约10亿美元F轮融资，估值300亿美元，英伟达持续跟投。它重构AI数据基础设施，国内焱融科技有相似技术路线且具自主可控优势。
对话微分智飞高飞：看具身智能如何引发飞行认知革命 | GAIR 2025
雷峰网第八届GAIR大会邀请微分智飞高飞，探讨具身智能在飞行机器人领域应用。高飞指出其与传统无人机本质区别，介绍应用场景、分布式集群技术，还谈世界模型价值、挑战及创业契机，认为具身智能是历史拐点。
中国AI芯片大突围，DeepSeek V3.1引爆算力革命
DeepSeek V3.1发布，是中国AI技术自主性的战略突围。它有6850亿参数，采用UE8M0 FP8适配国产芯片，具混合推理架构、Agent能力等。其发布或重塑AI产业格局，推动国产芯片发展。
杨植麟被梁文锋叫醒了！Kimi新模型发布即开源，1T参数全线SOTA
172天后，Kimi推出全新Kimi K2基础大模型回应DeepSeek冲击。它为MoE架构，1T参数，激活参数32B，在多任务上领先，发布即开源，还分享技术细节，实测有亮点也待优化，展现回归之势。
浙江，冲出一匹碳化硅芯片全球黑马！
在‘双碳’目标与数字中国建设蓝图下，电能管理机遇巨大。黄兴博士指出将供电架构优化为高压直流可降低能耗，关键在于碳化硅功率芯片。其创办的派恩杰半导体，自主研发芯片，从芯片到封装助力客户，迎来产业机遇。
传统云还在「卖铁」，下一代云已在「炼钢」：火山引擎xLLM如何一张卡榨出两张的性能！
大模型上线部署时推理成本高、算力投入大但效果不成正比，企业面临推理效率难题。火山引擎 xLLM 大语言模型推理框架性能极致，成本低，集成关键创新，还被集成到 AI 云原生推理套件 ServingKit 中。
罗福莉执掌小米大模型首秀！定调下一代模型，全新MiMo-V2开源还横扫Agent第一梯队
在2025小米人车家全生态合作伙伴大会上，罗福莉首秀解读全新大模型MiMo - V2 - Flash，该模型已开源，采用MoE架构和MTP技术，在多方面表现出色，罗福莉还阐述其设计逻辑与对下一代智能体的看法。