「推理优化」共找到 2994 篇相关文章
田渊栋被裁后新offer排到法国！原来Llama 4.5训完后被卸磨杀驴了
Meta此次裁员引发诸多争议，工作超十年的田渊栋整组被裁。有说法称是因没做出基于Llama 3的推理模型，但田渊栋否认。Llama 4.5训练好后团队被裁，且后续还将裁风控部门。不过田渊栋获多家公司青睐。
LLM 技术在有道词典笔上的应用实践
本文围绕LLM技术在有道词典笔的应用展开。先分析端侧大模型落地挑战，如算力、功耗等。介绍有道词典笔等硬件及应用，对比端侧与云侧AI优劣。还阐述模型落地模式、算法优化及“子曰3数学模型”开源情况。
EMNLP25 | 北大x腾讯光子发布 C3 Benchmark：中英双语语音对话模型“地狱级”测试基准，直击语音对话模型软肋！
近年来语音对话模型受关注，但处理人类对话复杂现象的效能缺乏研究。北大联合腾讯光子构建中英双语C3 Benchmark数据集，评估模型应对复杂对话的能力，结果揭示性能瓶颈，为模型优化提供参考，代码和数据已开源。
牛！小米开源「音频语言模型」，超1亿小时预训练时间，音频理解和输出能力是真顶！
小米推出开源音频语言模型MiMo - Audio，有超1亿小时预训练时间。它能理解音频，70亿参数模型在多基准测试达SOTA，音频理解超Gemini - 2.5 - Flash，复杂推理优于GPT - 4o - Audio，还支持多模态任务。
一种基于滑动层合并的高效深度修剪大模型的方法
文章指出深度修剪可加快推理速度，但直接丢层会降低性能。为此提出滑动层合并法，根据相似度阈值融合连续层，简化结构且保持性能。实验显示该方法优于现有技术，还揭示了与宽度修剪结合的潜力。
微软刚发布Mu模型：支持Windows智能体，小参数跑出10倍性能
今天凌晨微软发布创新小参数模型Mu，3.3亿参数性能比肩Phi - 3.5 - mini，体量小10倍，离线NPU笔记本每秒超100 tokens响应。它支持Windows智能体，架构有多项创新，经训练优化后智能体表现出色。
8 位 AI Infra 高管复盘 WAIC：当堆砌「暴力美学」触顶，AI Infra 如何求变？
雷峰网与8位参展AI Infra公司的决策者交流，捕捉行业新方向和共识。今年行业关注重心从拼规模转向比效率，Token推理成算力消耗主体，AI工厂和Token工厂共生，未来竞争聚焦效率，不同玩家各有优劣。
浙江，冲出一匹碳化硅芯片全球黑马！
在‘双碳’目标与数字中国建设蓝图下，电能管理机遇巨大。黄兴博士指出将供电架构优化为高压直流可降低能耗，关键在于碳化硅功率芯片。其创办的派恩杰半导体，自主研发芯片，从芯片到封装助力客户，迎来产业机遇。
老外傻眼！明用英文提问，DeepSeek依然坚持中文思考
DeepSeek-V3.2和DeepSeek-V3.2-Speciale推理能力显著提升，海外研究者用英文提问，它却用中文思考。评论有两种观点，相关论文显示中文省token但非最有效，大模型选思考语言并非只看效率。
多智能体自主规划模式性能提升：五大精准策略详解
本文基于多智能体React模式实践，剖析自主规划架构挑战，如工具调用延迟等。提出五大优化策略，像用流式XML替代FunctionCall、合理压缩上下文等，还介绍创意加速器AI绘画创作功能，为多智能体规划模式提供借鉴。