「量化推理」共找到 2189 篇相关文章
大模型推理的“左右脑”革命！华为盘古Embedded凭昇腾之力，让快慢思考合二为一
传统大模型推理面临长链条深度思考与低时延反馈的矛盾，华为盘古团队提出盘古Embedded模型。基于昇腾NPU，其采用双系统认知架构，集成“快思考”与“慢思考”双推理模式，实现推理效率与精度协同提升。
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
过去两年大模型推理能力跃迁，谷歌等机构研究指出，推理能力提升源于模型推理时隐式模拟类多智能体交互结构“思维社会”，还提出利用“群体智慧”新方向，并介绍了研究方法、实验结果等。
DeepSeek-R1推理智能从哪儿来？谷歌新研究：模型内心多个角色吵翻了
谷歌等机构研究指出，推理模型能力提升源于‘思维社会’，即模拟类多智能体交互结构。如 DeepSeek - R1 等在推理中展现高视角多样性，对话特征能提升推理准确率，还提出利用‘群体智慧’新方向。
基于一个MXFP8量化Kernel谈一谈如何在B200上实现高性能的Memory Bound Kernel
作者向SGLang社区提交基于CUTLASS的MXFP8 Blockscaled Grouped GEMM实现，其中包含量化Kernel。文章关注此Kernel，介绍在B200上实现高性能Memory Bound Kernel的优化技术，如整体设计、向量化与合并访问、Occupancy优化、TMA利用等。
微信自研高性能推理计算引擎 XNet-DNN：跨平台 GPU 部署大语言模型及优化实践
本文深入解析微信自研的高性能推理计算引擎 XNet-DNN，介绍其核心技术架构和性能优化策略。该引擎基于 RCI 框架构建跨平台 GPU LLM 推理能力，在多方面超越现有解决方案，还给出了详实对比实验数据。
R-HORIZON：长程推理时代来临，复旦NLP&美团LongCat重磅发布LRMs能力边界探测新范式
复旦大学与美团LongCat Team联合推出R - HORIZON，它是首个系统性评估与增强LRMs长链推理能力的方法与基准。提出Query Composition方法构建评测基准和训练数据，评测发现主流模型长链推理性能断崖式下降，还分析出三大瓶颈，训练后模型性能双重提升。
微软开源AI量化神器Qlib
微软开源AI量化平台Qlib，支持多样机器学习范式，解决量化投资挑战。包含数据处理等完整流程，有安装、数据准备等说明，还提供自动化和定制化工作流，以及应对挑战的方案和性能对比。
Mistral的首个强推理模型：拥抱开源，推理速度快10倍
本周二，欧洲人工智能公司 Mistral AI 发布全新大语言模型 Magistral 系列，有企业版 Magistral Medium 和 24B 参数开源版 Magistral Small。它推理强、多语言表现好，速度比竞品快 10 倍，应用于主流云平台，成本有竞争力。
推理时扰动高熵词，增强LLM性能
香港科技大学（广州）研究团队发现LLM推理时，一小部分高熵词显著影响输出正确性。基于此提出MTI方法，含Selective CFG intervention与Lightweight negative - prompt guidance，无需额外训练，能提升模型推理能力。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。