「推理加速技术」共找到 4901 篇相关文章
优步针对微服务和大规模计算工作负载完成了大规模的 Kubernetes 迁移
优步成功将计算平台从 Apache Mesos 迁至 Kubernetes，覆盖多数据中心和云环境。工程团队详述迁移挑战、方案与教训。虽遇技术、文化难题，但迁移后运营效率等提升，为大公司提供借鉴。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%。它能完成输入视觉回答问题、做几何体等任务，重点解决多模态推理、视觉理解及与人类偏好对齐问题，介绍了模型结构、训练阶段等内容。
黄仁勋三次断言翻车！CUDA护城河，被谷歌一行代码凿穿
本文是新智元报道，基于SemiAnalysis的第三方测试，谷歌第七代TPU Ironwood推理性价比大幅领先英伟达最新B200、B300，谷歌通过软件重构打破CUDA护城河。
Meta新任副总裁：Manus创始人肖弘，90后
Meta正式收购AI智能体初创公司Manus，创始人肖弘出任Meta副总裁，交易金额或达数十亿美元。Manus技术强、营收高，其加入将助Meta打造AI产品，收购具象征意义。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
战略落子！格芯收购新思科技这项业务
美国当地时间1月14日，格芯签署协议收购新思科技ARC处理器IP解决方案业务。该举措将加速其实体人工智能技术落地，强化竞争力，预计2026下半年完成，尚需监管批准。
Lumina-DiMOO：多模态扩散语言模型重塑图像生成与理解
上海人工智能实验室推出多模态扩散语言模型 Lumina - DiMOO，它基于离散扩散建模，打破多模态任务壁垒。相比传统自回归架构模型，它解决了生成慢、质量受限等问题，在多项评测中夺魁。
刚刚，OpenAI四位华人学者集体被挖，还是Meta重金出手
Meta在发布Llama 4后开启大规模招聘，再聘四名OpenAI研究人员。这些研究员是OpenAI模型研发中坚力量，暂不知是否影响GPT - 5，Meta相关技术能否提升也待观察。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。