「低延迟推理」共找到 2941 篇相关文章
离谱……面壁让 AI 写了个训练框架，然后它自己训出了最强的 1B 模型：MiniCPM5-1B
面壁发布 1B 参数量级最强端侧文本大模型 MiniCPM5 - 1B，其 Base Model 由 AI 编写的训练框架 ForgeTrain 训出，速度超英伟达 Megatron 10%。该模型性能出色，部署门槛低，数据治理方案对应数据集也已开源。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
VLM 实现 10%的精度提高，13.1倍加速！纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型（VLM）效率飞跃，在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理，设计秩分配策略，引入量化方案，经多模型评估，展现出低硬件成本、高精度优势。
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。
企业落地 NL2SQL，需要的是 AI-ready data 和 小模型
当NL2SQL从Demo走向生产，关键是‘更干净的数据底座 + 更小的专用模型 + 更可控的工程化流程’。文章指出先数据后模型，小模型足够用且落地成本低，评估要换维度，还介绍了工程化路径等内容。
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
8 位 AI Infra 高管复盘 WAIC：当堆砌「暴力美学」触顶，AI Infra 如何求变？
雷峰网与8位参展AI Infra公司的决策者交流，捕捉行业新方向和共识。今年行业关注重心从拼规模转向比效率，Token推理成算力消耗主体，AI工厂和Token工厂共生，未来竞争聚焦效率，不同玩家各有优劣。
Kimi新出的Agent集群，到底有多恐怖？
Kimi发布K2.5模型及Agent集群功能，将国产AI推向“组织智能”新高度。K2.5全能且开源，多项评测优于GPT - 5.2 - xhigh且成本低。Agent集群可按需协调子Agent，实现“角色涌现”与“3D编排”。
老外傻眼！明用英文提问，DeepSeek依然坚持中文思考
DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升，海外研究者用英文提问，它却用中文思考。评论有两种观点，相关论文显示中文省token但非最有效，大模型选思考语言并非只看效率。
多智能体自主规划模式性能提升：五大精准策略详解
本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。