「混合精度」共找到 442 篇相关文章
3000块钱，这支中国团队把ChatGPT成功的“秘密”用在了机器人训练上
国内穹明智能团队推出千元级手持采集系统 UMI ver.2 并开源。该系统精度达毫米级、能双臂协同，成本低、部署快。团队认为数据是关键，还计划搭建机器人数据 infra，预计新模型范式很快出现。
你花80%精力调的AI，效果被 PDF 解析卡死了
做RAG时，花80%精力优化embedding和检索，效果上限却被PDF解析卡死。OpenDataLoader PDF靠不同架构在基准测试获第一，采用混合架构，还做了三件其他解析器不做的事，思路值得学习。
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
Midjourney新副业曝光：50万个传感器藏进浴池，60秒生成你的3D身体地图
搞AI绘画的Midjourney官宣将在旧金山开Spa馆，背后是进军医疗硬件的新项目Midjourney Medical。其用Midjourney Scanner做全身超声波扫描，能快速生成高精度3D身体地图，还规划了落地路径和长期扩张目标。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
AMD新论文颠覆认知：FP4训练不稳定，原因不是随机性不足
大模型训练成本高，降低训练精度可降成本。AMD联合宾州州立大学论文颠覆认知，揭示FP4训练不稳定源于结构性微缩放误差，非随机性不足，还在原生FP4硬件完成大模型预训练。
kimi K3超大杯升级背后的技术内幕
文章介绍开源模型 K3 架构设计思路。主要探讨 MoE 和 MLA 部分，在 MoE 方面提出 SiTU、Norm、QB 改进；在注意力机制选择 MLA，与 KDA 混合缓解部分问题，还谈及 DSV4、NoPE 相关特点。
Paddle OCR走到了尽头，Unlimited OCR一次读40 页
百度开源的Unlimited OCR把解码器里全部attention层换成R - SWA，模型只记128个token，能一次性读完40页文档。相比DeepSeek OCR，它在精度、速度上表现更优，训练成本低，适用范围广。
DeepSeek悄悄更新：Mega MoE、FP4 Indexer来了
昨天下午，DeepSeek 更新了 DeepGEMM 代码库，带来新东西 Mega MoE。它将 MoE 计算流程整合，让数据通信和计算同时发生，提高 GPU 利用率。还尝试组合精度、搞 FP4 indexer 等，是基础设施层重构尝试。