搜索：开源推理模型

「开源推理模型」共找到 9140 篇相关文章

腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！

腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。

2024年以来，大模型在推理任务上进展显著，得益于RLVR方法，但面临“熵困境”。研究团队提出选择性熵正则化方法（SIREN），通过三重机制精准调控探索行为，实验证明其能提升模型推理成绩。

复旦大学等机构团队论文提出SIM - CoT技术，解决隐式思维链推理准确率低、不稳定问题。该技术引入步骤级监督，提升性能、效率和可解释性，在多模型和任务测试中表现出色，让大模型高效沉默推理。

Interconnects.ai报告显示，截至2025年8月，中国开源大模型在HuggingFace下载量快赶上美国，增长速度更快，派生模型数量增多。美国因结构、生态等问题落后，中国模型优势在于速度、迭代等。

OpenAI在gpt - oss开源模型采用MXFP4数据类型，使推理成本降75%，内存占用为BF16模型四分之一，生成token速度提4倍，还能降低硬件资源需求。不过MXFP4也有缺陷，英伟达推出NVFP4提升质量。

2026年4月8日智谱发布GLM-5.1，它是全球首个通过真实工程任务验证8小时持续工作能力的开源模型，在SWE-Bench Pro上超越GPT-5.4等登顶。该模型性价比高、技术创新多，还适配国产硬件，开源生态友好。

在CES 2026展上，英伟达黄仁勋介绍多项进展。下一代Rubin平台含六款芯片，推理成本降10倍；发布Alpamayo 1开源模型助力自动驾驶；还推出物理AI新模型等，携手伙伴展示机器人。

加拿大西安大略大学工程师暑期打造开源 ML 推理、训练芯片 TinyTPU。他们非专业出身，从基础学起。还介绍了造 TPU 原因、硬件知识、构建方法，及推理、训练的实现。

Kwai Keye团队提出Thyme新范式，构建技术方案，赋予开源模型“超越图像思考”能力。包括设计训练策略、构建开源配套资源，拓展多模态模型工具使用与决策水平，在基准测试中性能提升显著。

一项来自多所高校和微软研究院的研究揭示AI模型价格倒挂现象，低定价模型可能产生更高实际开销。研究聚焦8个前沿推理模型和9个主流数据集，指出推理token是成本倒挂主因，且实际开销难以预测。