「大模型推理系统」共找到 9002 篇相关文章
中国中文信息学会大模型与生成专委会2025大模型战略研讨会成功举办
2025年6月27日，中国中文信息学会大模型与生成专委会2025大模型战略研讨会在哈尔滨举办。会议探讨技术革命、交流成果、发布基金，多位专家作报告、参与思辨讨论，聚焦大模型多方面话题。
刚刚！Thinking Machines Lab ｜ 长文揭开LLM推理不确定性真相！
Thinking Machines Lab发布《克服LLM推理中的不确定性》，揭示大语言模型推理不确定性原因，并非“并发 + 浮点”假设那么简单，主要是负载及batch size不确定所致，还给出让核函数有批次不变性的方法及实验结果。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播邀请华为、蚂蚁集团等专家探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代冲突处理、推理部署成本优化、开源项目挑战及 GPU 虚拟化趋势等内容。
腾讯混元开源 4 个小尺寸模型，主打 Agent 和长文
8月4日腾讯混元开源四款小尺寸模型，参数为0.5B、1.8B、4B、7B，消费级显卡可运行。模型推理快、性价比高，在多领域表现出色，亮点是Agent和长文能力，已在腾讯多业务应用。
AI Infra 工程师们如何应对大模型流水线里的“暗涌”？
InfoQ《极客有约》X AICon 直播，邀请华为昇腾专家 ZOMI 酱、蚂蚁集团马介悦和 SGLang 尹良升探讨大模型 Infra 工程师实战日常。涉及大模型工程高频问题、版本迭代策略、推理部署优化、开源项目挑战等内容。
50FPS、成本打掉70%，魔芯MoWorld把世界模型带进产业时代
近期，魔芯科技联合浙江大学潘云鹤院士、华为等发布实时交互世界模型MoWorld，推理速度超50FPS，部署成本仅为同规模GPU方案的30%。它全链路优化，将用于多行业，魔芯也完成亿元美金融资。
AGI前夜重磅：RL突破模型「认知上限」，真·学习发生了！
AI研究圈争论RL能否赋予模型超越基础模型的推理能力。UC Berkeley等团队提出DELTA框架，观察到“RL grokking”现象，还设计新任务验证，提出两阶段奖励调度，总结两种模式等，为争论带来新依据。
奥特曼深夜官宣：OpenAI重回开源！两大推理模型追平o4-mini，号称世界最强
OpenAI深夜推出gpt-oss 20B和120B两款开源模型，性能比肩o3-mini和o4-mini，能在消费级显卡甚至手机运行。有宽松许可证等亮点，还准备了体验网站。这是自GPT - 2后首次开源，降低了部分群体准入门槛。
邢波再出手：上次「骂」完世界模型，这次轮到智能体了
邢波教授新作《智能体模型批评》上线 arXiv，质疑当下被称为「智能体」的系统是否名副其实。论文将其分为两类，沿五维度拆解主流设计，提出 GIC 架构，还探讨了安全问题，指出要让能力内化进模型。
首次综述「边-云协同计算」，分布式智能与模型优化的最新进展
边缘 - 云协同计算整合边缘节点和云端资源，解决传统云计算问题。最新综述论文系统梳理其架构设计、模型优化等方面，提出统一框架，还指明未来研究方向，如大语言模型部署、6G整合等。