「硬件算力」共找到 1197 篇相关文章
深度访谈:阿里云X平头哥,模型推理提升13倍背后的秘密
这篇深度访谈聚焦阿里云与平头哥,探讨模型推理提升13倍背后的秘密。随着AI焦点转向推理,行业面临算力、成本、监管等矛盾。嘉宾分析推理范式现状与变化,探讨推理加速技术及优化策略,还谈及瓶颈、未来发展及竞争方向。
MOE RL实战:统一FP8全流程训练
SGLang RL团队等联合完成工作,实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等,指出训练难点,分析KL Loss异常归因,验证其在MoE模型RL应用效果,还探究模型规模对训推不一致性的影响。
AGI新技术路线:下一代稀疏注意力机制Monte Carlo Attention开源
超对称技术公司开源了 Monte Carlo 注意力机制,用于新版基座模型 BigBang - Proton。它在二进制块编码技术上,用块间代表交流机制实现线性复杂度,解决了传统方法的缺点,可实现理论上无限的上下文长度,对现有预训练技术和硬件设计影响深远。
斯坦福洗碗机器人新作!灵巧手跟人学采茶做早餐,CoRL 2025提名最佳论文
斯坦福等机构提出DexUMI框架,利用人手将操作技能迁移至灵巧手。该框架通过软硬件创新缩小人手与灵巧手具身差异,在两款灵巧手硬件平台验证,平均任务成功率达86%,数据采集效率提升3.2倍,被CoRL 2025提名最佳论文。
郭台铭,重回首富宝座
曾经放言“给大陆赏饭吃”的郭台铭,因工业富联市值突破万亿,再次被大陆资本市场推上中国台湾首富宝座。工业富联在AI算力基础设施领域表现抢眼,其AI服务器业务成增长主力。郭台铭海外投资受挫后回归内地,推动公司转型。
华为盘古大模型:被芯片牵制的“千古”模型
华为盘古大模型团队员工自曝内幕,称其受芯片限制,早期算力有限、训练困难。还指出内部存在造假、套壳等问题,如135B V2套壳Qwen 1.5 110B,pangu pro moe 72B套壳qwen 2.5的14b等,导致人才流失。
0.3B参数,600MB内存!腾讯混元实现产业级2Bit量化,端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit,参数量仅0.3B,内存占用600MB。它基于产业级2Bit端侧量化方案,生成速度提升,还通过多种方法提升能力,未来将探索新技术缩小与全精度模型差距。