「端侧推理模型」共找到 8395 篇相关文章
5 分钟搞懂开源大模型选型核心维度，16G显卡也能选对
文章以作者自身经历引入，指出开源大模型选型易陷入‘越大越好’误区。讲透选型4个核心维度，含实操步骤与避坑指南，还介绍选后评估方法，助新手快速锁定适配模型。
腾讯开源最强3D生成模型，消费级显卡就能跑 | CVPR
在CVPR上，腾讯混元3D 2.1模型宣布开源。相比前一代，它实现几何与纹理双重优化，纹理贴面提升大，达当前开源3D模型SOTA水平。全链路开源，适配消费级显卡，Hugging Face下载量超180万。
单机H200最快DeepSeek V3和R1推理系统优化秘籍
作者从开源技术分享角度，盘点SGLang对单机规模推理的大量工程优化技巧，涉及FP8 Block GEMM演进、FusedMoE模块优化、Attention Backend优化等，助于提升DeepSeek V3/R1在单机H200上的推理性能。
PD 分离推理的加速大招，百度智能云网络基础设施和通信组件的优化实践
为适应PD分离式推理部署架构，百度智能云从物理网络、网络流量、通信组件和算子层面优化，提升上层推理服务性能，展现了网络、组件与业务特征融合的重要性。
一个字都不会写的 Jev，凭什么成为 ChatGPT 之后最火的模型？
本文详解近期爆火的Jev模型，它没有文本生成能力，专为高频确定性语义决策设计，效率远超传统大模型、成本大幅降低，清晰讲解其工作逻辑、适用场景与接入方式。
不换模型，效果提升104%！上海AI Lab让Harness也能自进化了
上海人工智能实验室团队提出的Self-Harness引发关注，它针对Agent外层Harness改进。实验显示，在Terminal-Bench-2.0上，不换模型只改Harness，Qwen3.5-35B-A3B等模型效果显著提升。
治好多模态近视和走神！上海大学去偏干预显著提升模型性能
多模态大模型存在“近视”和“走神”问题，总是过度关注图像底部而忽略核心内容。上海大学与南开大学研究团队用两条数学公式去偏干预，无需增加计算成本，却能显著提升主流模型视觉理解能力。
阿里：RL强化LLM推理，是技巧还是陷阱？
近年来，强化学习（RL）成为解锁大型语言模型（LLM）复杂推理能力的关键工具，但该领域也面临技术选择困境。阿里联合多所高校的论文通过大规模可复现实验，揭示主流RL技巧的机制与适用场景，还发现极简组合（Lite PPO）性能超越复杂方案。
谷歌约战，DeepSeek、Kimi都要上，首届大模型对抗赛明天开战
太平洋时间8月5 - 7日，8款前沿AI模型将在Kaggle Game Arena展开为期3天的国际象棋比赛，参赛方都是AI界顶流。谷歌称现有基准测试难跟上模型发展，这场比赛是探索新评估方法。赛制为单败淘汰制。
千卡集群破壁之道：vivo视觉多模态大模型训练效率跃迁实战
多模态大模型在多领域需求增长，但千卡级 GPU 训练挑战大。vivo AI 架构师王兆雄在大会演讲，结合 LLaVA 和 DiT 模型实践，解析优化策略，分享提升训练效率与稳定性的经验，还展望了 AI Infra 未来。