搜索：开源推理模型

「开源推理模型」共找到 9159 篇相关文章

Jeff Dean最新访谈：基础模型越来越强，小团队如何与谷歌等巨头竞争？

Jeff Dean 在 Y Combinator 活动中与 Diana Hu 对谈，探讨 AI 创业者面临的问题。他指出推理成新瓶颈，预计有更多推理硬件；Agent 执行复杂任务进步快；小团队可找 1%成功率问题；还提及稀缺能力及创业建议。

智谱正式发布并开源专为 Agentic Coding 打造的 GLM-4.7 模型，编程、推理、Agent 能力成绩亮眼，价格比 Claude Sonnet 4.5 更优。还推出 Coding Plan 套餐，使用方式多样。发布前几天，智谱港股招股书挂网。

Anthropic“手滑”泄露最强新模型Claude Mythos，它在编程、推理和网络安全测试中表现超Claude Opus 4.6。因模型“黑客能力”强，Anthropic发布谨慎。此外，该公司还意外泄露3000多未发布文件。

微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。

Kode 定位是在终端中完成代码库理解、文件编辑、命令执行等开发流程，有三大亮点：将多模型协作设为核心能力；支持 AGENTS.md 文档模式；终端体验好，有强大的补全系统。还介绍了使用方法和适用人群。

清华大学李升波教授团队在NeurIPS 2025提出LLM - Filter通用滤波器，将状态估计融入大语言模型推理框架。它能解决传统方法泛化性差问题，在未见过系统中实现零样本状态估计，有望成基础模型。

文章探讨大模型输出确定性结果的问题。指推理引擎底层动态组批与算子调度策略，因浮点加法顺序变化使结果波动。还分析GEMM、RMSNorm等算子影响，给出vLLM实现Batch Invariance的方法。

开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。

新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。

大模型退烧，小模型接棒。腾讯、阿里等大厂纷纷官宣小模型成果，英伟达、OpenAI 等也有相关动作。端侧模型赛道广阔，但技术含量不低，面壁智能在端侧模型探索上成果丰硕，其 MiniCPM 系列不断迭代，还在多领域落地。