「推理大模型」共找到 9468 篇相关文章
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
不只DeepSeek，阶跃等开源JetSpec：大模型解码提速近10倍
近期，DeepSeek 推出 DSpark，阶跃星辰提出 JetSpec，都关注大模型推理效率。DSpark 关注验证效率，JetSpec 提高有效 Token 生成率。二者切入点不同，但都显示大模型行业进入新阶段，推理效率成 Agent 落地基础变量。
林俊旸离职后首度发声：万字复盘，大模型下一站「智能体式思考」
前阿里千问负责人林俊旸离职后发文，复盘大模型行业演进，指出 AI 大模型未来主线是智能体式思考。文中分析推理模型崛起的启示，探讨思考与指令融合难题，还阐述智能体式思维含义、强化学习基础设施挑战等。
2025 年中丨大模型市场分析报告
这是《2025年中丨大模型市场分析报告》。指出基础大模型塑造计算未来，企业重心转向推理。Anthropic超OpenAI成市场头号玩家，开源模型采用趋缓，企业换模型重性能，AI支出从训练转向推理。
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
单张显卡跑出15倍推理速度，aiX-apply-4B小模型加速企业AI研发落地
3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。
剑桥揭开大模型翻车黑箱！别再怪它不懂推理，是行动出错了
剑桥大学等机构研究指出，大模型执行长时任务易翻车，问题不在推理而在执行能力。研究人员评估多个指标，发现单步准确率提升可让任务长度指数增长，还研究了自条件化等影响及模型规模的作用。
帮大模型提速80%，华为拿出昇腾推理杀手锏FlashComm，三招搞定通算瓶颈
在大模型推理通算难题凸显的背景下，华为数学家祭出 FlashComm。它包含三项技术，分别在 AllReduce 通信、以存换传、多流并行方面优化，解决通信瓶颈，提升推理性能，未来还将围绕多方向创新。
大模型 Token 究竟是啥：图解大模型Token
文章详细解释大模型Token概念，指出分词器会把文字切成Token，不同分词器切分结果不同。还介绍分词器的分词方法，通过统计文字出现频率打包成Token并编号，不同模型切分结果有差异。