「离线AI大模型」共找到 13792 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时，发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术，将整体推理速度提升60%，还突破显存墙，且该优化可扩展到其他模型。
郭台铭，重回首富宝座
曾经放言“给大陆赏饭吃”的郭台铭，因工业富联市值突破万亿，再次被大陆资本市场推上中国台湾首富宝座。工业富联在AI算力基础设施领域表现抢眼，其AI服务器业务成增长主力。郭台铭海外投资受挫后回归内地，推动公司转型。
十周前才写下第一行代码，如今颠覆 9 个行业？员工人均 10 万粉，00 后创业者狂言：我们将超越 OpenAI
本文聚焦 21 岁 00 后创业者 Roy Lee 和他的桌面 AI 助手 Cluely。该产品获高额融资、估值达 1.2 亿美元且已盈利，但也饱受争议。文中还揭秘其成功热度的关键、团队情况，探讨 AI 时代产品留存演变。
VLA进化后降维打击！双手拣货，漂移操作，还能批量化秀舞，太空舱直接开上街，被银河通用卷到了
世界机器人大会上，银河通用的人形机器人Galbot在具身智能小卖部营业，背后是自研端到端具身智能大模型。其与英伟达联合首发的机器人应用表现出色，太空舱也在北京首发，适配多场景，具身大模型商用能力获认可。
Agent 工程师绕不开的必修课：API 网关 vs API 管理
文章探讨了 API 网关与 API 管理的起源发展、关键差异、协同工作及未来趋势。API 网关从流量网关演进到 AI 网关，API 管理从文档化走向商业化。两者差异源于起点、使用角色和技术内核不同，未来将向 AI 网关和 MCP Server 管理演进。
国内首次！8.9毫秒推理速度破纪录，1元打穿百万token
在2025人工智能计算大会上，浪潮信息发布元脑SD200和元脑HC1000两款AI服务器。前者让DeepSeek R1的Token生成速度达8.9毫秒，后者将推理成本降至1元/百万Token，解决了AI智能体速度与成本难题。
第二代InfLLM开源，同尺寸快三倍！零参数，可训练稀疏注意力
新智元报道，清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2，仅用5B长文本词元就能完成训练，相比稠密注意力机制有显著加速，性能接近传统稠密模型。
银河通用WRC首发英伟达Thor，银河太空舱世界首创城市级机器人应用
全球首个城市级常态化运营的人形机器人示范区落地北京。银河通用具身大模型机器人Galbot依托大模型实现精准商品识别与取送，还展示了多场景应用能力。其银河太空舱开启‘十城百店’计划，推动具身智能服务普及。
英伟达暂时让全世界松了一口气
美东时间周三盘后，英伟达公布超预期三季度财报，黄仁勋驳斥“AI泡沫论”。此前科技股因泡沫担忧低迷，英伟达业绩成观察AI需求窗口。财报虽亮眼，但市场担忧未消，且财报也有风险，如非核心业务不佳等。
MOE RL实战：统一FP8全流程训练
SGLang RL团队等联合完成工作，实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等，指出训练难点，分析KL Loss异常归因，验证其在MoE模型RL应用效果，还探究模型规模对训推不一致性的影响。