「推理部署」共找到 2645 篇相关文章
田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了
Meta此次裁员引发诸多争议，工作超十年的田渊栋整组被裁。有说法称是因没做出基于Llama 3的推理模型，但田渊栋否认。Llama 4.5训练好后团队被裁，且后续还将裁风控部门。不过田渊栋获多家公司青睐。
用 Astra+Codex 干掉 CUDA！奥特曼9个月AI造芯反杀英伟达 GB300
北京时间昨日凌晨，OpenAI 公布自研推理芯片 Jalapeño 实测结果，其在多指标挑落英伟达 GB300。OpenAI 用 GPT - 6 和加强版 Codex 造芯，9 个月完成硬件设计优化，3 个月搞定软件栈，威胁英伟达 CUDA 根基。
离谱……面壁让 AI 写了个训练框架，然后它自己训出了最强的 1B 模型：MiniCPM5-1B
面壁发布 1B 参数量级最强端侧文本大模型 MiniCPM5 - 1B，其 Base Model 由 AI 编写的训练框架 ForgeTrain 训出，速度超英伟达 Megatron 10%。该模型性能出色，部署门槛低，数据治理方案对应数据集也已开源。
Agent 自我改进的六条路
文章梳理了让 AI Agent 不重新训练就能变强的六种机制，包括输出自审、持久记忆、进化搜索、对抗训练、自我修改和编排自优化，介绍了各机制代表项目及成果，指出 AI 学习正从训练溢出到部署阶段。
模型训练篇｜多阶段ToolRL打造更可靠的AI导购助手
当前，AI导购成电商与服务平台新风口，但芝麻租赁场景挑战大，存在需求难匹配等痛点。为此打造AI导购智能体“租赁小不懂”，经架构升级和算法优化，性能提升，还探索了MoE训练和推理优化。
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
8 位 AI Infra 高管复盘 WAIC：当堆砌「暴力美学」触顶，AI Infra 如何求变？
雷峰网与8位参展AI Infra公司的决策者交流，捕捉行业新方向和共识。今年行业关注重心从拼规模转向比效率，Token推理成算力消耗主体，AI工厂和Token工厂共生，未来竞争聚焦效率，不同玩家各有优劣。
老外傻眼！明用英文提问，DeepSeek依然坚持中文思考
DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升，海外研究者用英文提问，它却用中文思考。评论有两种观点，相关论文显示中文省token但非最有效，大模型选思考语言并非只看效率。
对噢！为什么LMs就不能直接输出答案+confidence呢？
当前语言模型在复杂问答任务中存在校准退化问题，本文提出RLCR方法，将概率校准融入RL训练目标，重构奖励函数，在多个数据集实验中显著降低校准误差，不损失准确性，为高风险场景AI部署奠基。