搜索：大模型推理系统

「大模型推理系统」共找到 9080 篇相关文章

国产模型开源封神，谷歌Genie3紧急开源？蚂蚁AGI撕开世界模型闭源防线

蚂蚁灵波发布开源SOTA级世界模型LingBot - World，全面对标谷歌Genie 3，部分性能指标超越。它有高保真、长视频生成等优势，还能解决具身智能痛点，发布后引发海外关注，促使Genie将开源。

宇树开源世界模型 - 动作架构UnifoLM - WMA - 0，它属UnifoLM系列，适配多机器人本体。真机部署表现出色，预测与实际操作吻合。官方介绍训练策略，代码开源后GitHub获100 + Star。

大模型运行成本高，普通用户用不起。传统小模型模仿大模型解题步骤易出错。论文提出Agent蒸馏，让小模型学会用检索和代码工具，还加首思前缀与自我纠错“外挂”，使小模型性能直逼大模型。

现在Claude桌面版可使用任意模型，这是4月官方更新添加开发者模式带来的功能。文中介绍了操作方法，还称Claude桌面版是世界最好的AI客户端，覆盖多种使用场景，推荐大家使用。

Claude Code 推出 `/ultraplan` 功能，在写代码前提供可视化方案，可编辑、审批。还发布了 Claude for Word 集成微软 Office 套件。Anthropic 迭代快或因内部使用更强的 Mythos 模型。

OpenAI将发布AI驱动的网页浏览器挑战谷歌Chrome，或集成代理Operator实现智能网络体验。还准备下周四发布类似o3 mini的开源模型，不再是微软Azure独家。谷歌也可能很快发布Gemini 3。

本文用通俗易懂方式帮读者理解LLM、Transformer、Prompt等基本概念，介绍大模型API使用，如温度参数、角色设定等，还提及Function Calling、Agent、MCP等内容，并对AI未来发展作出假想。

字节发布全新复杂数学解决模型Seed-Prover，全面超越谷歌AlphaGeometry2，在MiniF2F数据集达100%正确率。它采用引理式证明，集成几何推理引擎Seed-Geometry，还展现了卓越泛化能力。

文章围绕SGLang确定性推理展开，介绍其启用方式，详述批次不变性原理与Batch Invariant Ops实现，如Matmul Persistent Kernel设计；还阐述确定性采样、Attention Backend配置、AllReduce改动等，给出环境变量及测试脚本，有完整解决方案。

算力市场风向生变，国产算力崛起。政策从资金、市场、规则多维度发力，为国产算力扫清障碍。在推理场景中，国产方案性价比更高。其独特分销体系使贸易环节信息透明度低，步入卖方市场，市场也迎来新局面。