「推理性能优化」共找到 4188 篇相关文章
GLM-4.7-Flash无审查版发布：30B MoE模型，仅3B激活参数
GLM-4.7-Flash无审查版由HauhauCS发布，基于原版移除审查机制。采用30B - A3B混合专家架构，总参数量31B，每次前向传播仅激活约3B参数，推理快，支持200K上下文长度，有两种变体和四种量化版本。
RAG技巧与底层代码剖析
文章深入剖析 RAG 技巧与底层代码，从用 Python 基础库构建 RAG 系统，到多种优化方法如上下文增强检索、添加上下文块标题等，还涉及查询改写、重排序等技术，最后介绍了上下文压缩、反馈机制等提升系统效率和质量的方法。
人民想念DeepSeek
文章探讨AI时代Token相关问题。指出其消耗大、价格贵，存储价格上涨使Token降价缺杠杆，虽模型能力提升、MFU优化可降本，但传导到C端取决于商业考量。还回顾大模型价格战，介绍本地部署及芯片创新方案。
谷歌最强大模型付费上线，在DeepSeek开源后被吐槽太贵
谷歌最强模型Gemini 3 Deep Think上线，推理能力强，能将草图变3D场景、搭建游戏。它在多评测基准表现出色，准确率超GPT - 5 Pro等。但仅向Ultra会员开放，月费约1800元，被吐槽贵，开源的DeepSeek-V3.2成冲击因素。
李建忠：关于AI时代人机交互和智能体生态的研究和思考
在2025全球产品经理大会中，奇点智能研究院院长李建忠分享了大模型驱动的AI产业生态和产品创新。他谈到推理范式转换使模型进入“经验数据时代”，还分析了应用开发、人机交互范式转换及智能体生态演进，预言孤立App时代终结。
成立 5 年最高估值超百亿，摩尔线程之后，又一家AI芯片独角兽争当“国产 GPU 第一股”
6月23日，沐曦集成电路IPO辅导完成，离A股上市更近一步。它成立于2020年，专注高性能GPU，产品应用广，还与书生・浦语3.0合作。虽曾被曝裁员，但已完成8轮融资。当下国产GPU厂商扎堆IPO，适配DeepSeek或带来机遇。
超越对数似然：模型能力连续体下的监督微调新范式
论文挑战监督微调（SFT）用负对数似然（NLL）作训练目标的默认设定，提出基于概率的目标家族，引入“模型能力连续体”概念，分析不同目标在不同模型能力下的表现，为模型后训练提供新优化方向。
不堆参数堆架构，这个8B开源模型把图像理解和生成统一了
商汤开源全新架构的理解生成统一模型SenseNova-U1，虽小尺寸版仅8B参数，却能复刻GPT - Image - 2的不少绝活，在多项指标上登顶开源模型榜首，推理速度逼近主流商用闭源模型。它具备连续性图文创作等能力，底层是NEO - unify架构。
国产LLM大爆发的一周，Hugging Face热榜被承包了！
这一周国产开源LLM集中爆发，GLM - 4.5、Qwen3的5连发、Step3等接连发布。GLM - 4.5是新一代开源SOTA模型；Qwen3各版本在不同能力上提升显著；Step3是多模态推理模型；腾讯还发布了混元3D世界模型1.0。
昇腾910B大模型实测：开源框架能不能打？真相全放这了
文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。