「FP8混合精度训练」共找到 475 篇相关文章

产品应用8

杀疯了!单卡4090跑通全量微调,面壁1B级多模态性能怪兽硬刚大厂

面壁智能推出MiniCPM-V 4.6,参数约1B,性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品,靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新,有工业验证,对开发者和普通用户意义大。

AI寒武纪
新闻资讯7

从宁波到登陆港交所,“边缘AI芯片第一股”的突围之路

2月10日,爱芯元智登陆港交所,被誉为“中国边缘AI芯片第一股”。它以“混合精度NPU”与“AI - ISP”为核心技术,构建产品矩阵。营收增长强劲,客户基础拓宽,应用领域广泛,在行业中排名靠前,但也面临挑战。

芯师爷
算法论文7

ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准

文章指出推理阶段扩展(TTS)能提升推理大模型解决复杂问题的能力,但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准,评测显示N - gram方法在特定场景加速潜力大,混合策略性能更优。

AI科技评论
新闻资讯7

谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌

谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。

AI前线
推荐文章7

为什么 DeepSeek 大规模部署很便宜,本地很贵

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。

AI前线
开源动态8

单卡可跑18万原子!分子模拟的“规模焦虑”该终结了

至知创新研究院UBio团队发布的UBio-MolFM v1.5,是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升,实测中表现优于经典力场,架构、数据和训练都有创新,误差降45%,速度提8倍,现已开源。

量子位
新闻资讯7

腾讯披露元宝已是TOP3应用

2025腾讯全球数字生态大会信息量大。腾讯元宝日活冲前三,混元3D建模精度提升3倍。C端产品逐步落地B端,如腾讯云CodeBuddy等。腾讯云还将带成熟生态出海,投资1.5亿美元在沙特建数据中心。

量子位
产品应用8

文心X1.1三大能力狂飙,海内外实测还挺惊艳!

9日WAVE SUMMIT深度学习开发者2025大会上,文心大模型X1.1发布,事实性、指令遵循、智能体能力显著提升,多项测试表现佳。它能做到知识一致,精准遵循指令,智能体解决问题出色,代码、数学、多模态能力也有进化,得益于迭代式混合强化学习训练框架。

新智元
新闻资讯8

刚刚!微软 | 发布全新一代自研AI芯片Maia 200

微软提前发布自研AI芯片Maia 200,基于台积电3纳米工艺,性能超竞品,是其异构AI基础设施重要部分,将支持多个大模型,已部署在美中数据中心,还开放Maia SDK预览。

AINLPer
算法论文8

为什么BF16的FlashAttention会把训练「炸掉」?清华首次给出机制解释,用极简改动稳住训练

社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题,清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致,还给出极小修改稳定训练,且在多模型和硬件上验证有效。

机器之心