「端侧部署」共找到 780 篇相关文章
让OpenAI只领先5天，百川发布推理新模型，掀翻医疗垂域开源天花板
百川智能发布医疗推理大模型Baichuan - M2 - 32B，在OpenAI的Healthbench评测集上超越刚发布5天的gpt - oss - 120b，领先多数前沿模型，支持RTX4090单卡部署，还首创患者模拟器和Verifier系统。
大模型私有化火了：百万一台的一体机卖疯，最赚钱的一层却没人愿干
文章指出大模型私有化部署虽因合规、开源模型及国产算力发展而兴起，但利润结构呈哑铃状。算力层规模大但毛利低，模型层因开源难盈利，交付层最赚钱却因项目制难规模化，国际市场也类似。
CUDA 20年护城河一个周末崩了 ！Claude独自跑通AMD新GPU
一个周末，Claude直接把自家最前沿模型跑在全新AMD MI355X机架，人类工程师没改一行代码。AMD还给AI开发调GPU的工具，ROCm.AI可让Agent自己部署操作。Agent补生态积累短板，对CUDA生态形成降维打击。
ICDE 2026 | 从匹配困境到推理突破：阿里REG4Rec 激活生成式推荐的个性化潜力
阿里国际智能技术团队提出生成式推荐模型 REG4Rec，从表征学习、训练目标和推理策略层面设计，提升推理能力与稳定性。离线实验表现优，已在 Lazada 部署，带来显著商业收益，成果被 ICDE 2026 接收。
OpenAI官宣自研首颗芯片，AI界「M1时刻」九个月杀到！联手博通三年10GW
OpenAI官宣与博通合作造AI芯片，预计2029年底部署10GW算力。内部已研发18个月，首颗芯片9个月后量产。双方将垂直整合技术栈，还会用ChatGPT设计芯片，目标是实现算力充裕。
马斯克要自己做「英伟达+台积电」！宇宙芯片宏图开工，算力产能扩5000%
马斯克宣布启动史上最大规模芯片计划Terafab，目标是每年生产超1太瓦算力，80%部署至太空。该计划将芯片设计到制造整合，为机器人、AI和太空数据中心造芯片，不过暂无具体时间线。
AICon上海演讲精华回顾：《GMI Cloud 全球化高性能分布式推理服务构建实践》
AICon2025上海站，GMI Cloud资深架构师Frank Lee分享《GMI Cloud全球化高性能分布式推理服务构建实践》，介绍其推理平台，拆解扩缩容等能力，分享架构设计、部署及优化实践，揭秘推理提效关键路径。
国产GPU开始造世界！国内首个全栈具身智能仿真平台来了
摩尔线程发布国内首个全栈国产化具身智能仿真平台MT Lambda，实现Sim-to-Real真机验证。该平台像物理AI训练流水线，集成物理、渲染、AI引擎。其依托全功能GPU和MUSA架构，还构建了云端、端侧、生态闭环。
上交大和辉羲把LLM刻进ROM！推理性能冲2万token/s，GPU时代终结？
硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。
硅谷一线创业者内部研讨：为什么只有 5%的 AI Agent 落地成功，他们做对了什么？
来自硅谷一线AI创业者数据显示，95%的AI Agent在生产环境部署失败，原因在于围绕模型搭建的脚手架不完善。文章基于研讨会内容，探讨AI Agent构建关键，如上下文工程、安全控制、记忆功能等，并指出待解决问题和未来方向。