「大模型推理系统」共找到 9251 篇相关文章
继LlaMa 辞职事件之后，微软被爆AI 部门裁员波及6000人！包括AI总监
微软突然宣布裁员约6000人，占全球员工总数3%，横跨多条产品线，AI总监也被裁。官方称是为集中资源，员工不满靠模型决定去留。同时，Meta的LLaMA团队也有人员离职，折射AI行业资金与人才的矛盾。
SGLang Custom AllReduce v1 与 v2 实现原理详解
文章聚焦 SGLang 里两代自定义 all-reduce 实现（v1 和 v2），前者从 vLLM 移植，后者是默认版本。详述其负载特征、前提条件、分发链、同步机制、算法及 CUDA graph 支持等内容，还对比了两代差异，并提及相关环境变量。
3亿用户的豆包，能做成办公生意吗？｜甲子光年
6月24日，豆包专业版上线，三档定价68元到500元，搭配新模型等功能。它从C端聊天产品转向办公工具，但面临用户心智难改、价格较高等问题，其推出也将影响行业格局，加速C端AI产品免费时代终结。
出了两道真题考 GLM-5.2，Opus 4.8 和GPT 5.5 陪跑
作者对GLM - 5.2、Opus 4.8和GPT 5.5进行两项测试。一是审计Skill体系，GLM - 5.2覆盖skill数多、找出冲突多，还挖出bug；二是做世界杯夺冠推演器网站，Opus表现出色，GLM - 5.2省token，Codex有巧思但结构有缺陷。
Harness Engineering: C 端 AIGC 内容生产自优化实践
文章介绍蚂蚁保保险快查深度解读页面生成系统（DIPG），它将Harness思想用于C端AIGC生产链路。DIPG采用‘离线生成+校验+刷入DB’模式，解决LLM实时生成时延和质量问题，还阐述多Agent协作、校验机制及回灌流程等。
AI第一金主黄仁勋：日均花掉20亿
AI投融资火热，黄仁勋成最大金主。过去财年英伟达投资175亿美元，今年已投400亿。投资风格是大手笔、广撒网，涵盖AI模型、算力、硬件等。偏爱OpenAI，投300亿，但与各实验室关系复杂，投资也有商业考量。
Meta“Token榜”逼疯打工人，一夜烧掉公司几万刀！AI时代Token焦虑越来越离谱
据报道，Meta 公司内网出现 AI token 消费排行榜，追踪超 8.5 万员工 token 使用情况，过去 30 天消耗超 60 万亿 token。这反映“Token 最大化”文化，引发 token 消耗是否等同于生产力的争议。当前 Agent 系统高 token 消耗是补偿机制，应提升使用效率。
AI失忆症有了新解法，哈佛团队开发海马体仿生技术，要用AI终结人类“遗忘史”
近日，AI初创公司Engramme被曝正与投资者接洽融资约1亿美元，潜在估值达10亿美元。其联合创始人是哈佛教授加布里埃尔·克雷曼，技术基于其实验室成果，自研大记忆模型LMMs，已开放记忆API内测申请。
机器人浓度最高的一届春晚后，具身智能离走进千家万户还有多远？
InfoQ《极客有约》X QCon 直播栏目邀请专家探讨具身智能落地卡点。专家认为其虽面临模型泛化、数据采集等难题，但发展乐观。工业场景对通用性需求不大，Agent 架构或成关键，数据和物理交互等方面也有挑战。
黄仁勋砸千亿兆瓦算力，押注下一个“Open AI”
3月10日，前OpenAI高管Mira Murati创办的Thinking Machines Lab与英伟达达成长期合作，英伟达将提供1吉瓦下一代NVIDIA Vera Rubin系统。这一合作规模巨大，显示英伟达全面布局，也体现该创业公司野心，不过其面临组织动荡考验。