「混合精度」共找到 442 篇相关文章
CAG又回来了，这次它带着RAG！
文章对比CAG和RAG，指出CAG虽解决RAG部分痛点，但有根本限制，对海量变化知识库，RAG不可替代。Aurimas将二者结合做「动态混合层」效果好，还给出实施架构和关键点。
清华SageAttention3，FP4量化5倍加速！且首次支持8比特训练
清华大学陈键飞团队提出针对BlackWell架构的SageAttention3，实现5倍于FlashAttention的推理加速，首次支持8比特训练。在多种大模型上保持端到端精度，代码将分别于6、7月开源。
蚂蚁集团扩散大语言模型新突破：超800Token/s，速度与质量兼得
蚂蚁集团将LLaDA更新到2.1，通过引入“草稿 - 编辑”机制，打破扩散模型推理速度与质量的对立僵局。它有极速和质量两种模式，还采用混合训练流程及强化学习，在多基准测试中表现出色。
Sebastian Raschka 2026预测：Transformer统治依旧，但扩散模型正悄然崛起
知名AI研究员Sebastian Raschka预测2026年，Transformer架构在未来至少一到几年仍占统治地位，但会在效率和混合上微调。同时，扩散语言模型虽有工具调用缺陷，但在数据稀缺时或成更好的学习者。
谷歌AlphaGenome登Nature封面！破译生命基因暗物质
Google DeepMind团队的AlphaGenome模型开源并登上Nature封面。它能以单碱基精度破译百万碱基对DNA序列调控密码，在多项基因组轨迹预测任务表现出色，还可用于疾病研究，虽有不足但潜力巨大。
破解空间智能数据稀缺难题，影石开源DiT架构全景生成模型，在线可玩
影石研究院团队推出基于DiT架构的全景图像生成模型DiT360，设计分层混合训练框架，结合透视与全景图像数据，提升真实感和几何一致性。它支持多任务，优于现有方法，为三维场景生成提供新思路。
deepseek-V4算法工程技术深入浅出
文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。
DeepSeek刚解决了AI视觉最后一块拼图：极低成本+精准视觉定位，AI接管电脑已无死角
DeepSeek放出新论文《Thinking with Visual Primitives》，解决多模态大模型中长期被忽视的“说不清位置”问题。提出将空间标记作为“最小思维单元”插入推理链条的方案，在多个任务上达前沿水平，但也存在精度、触发机制和泛化能力等局限。
清华万引教授：万倍加速催化剂设计，AI突破DFT瓶颈！
清华大学王笑楠团队提出催化剂设计新基础模型SurFF，发表于Nature Computational Science。它无需昂贵实验或耗时DFT计算，实现对金属间化合物表面暴露与形貌的高效、高精度预测，计算速度提升10⁵倍。
突发！Qwen更新模型，全面超越kimi k2，强的离谱，主打Agent
Qwen小更新非推理模型性能强劲，各项指标超kimi k2，与Claude opus 4持平，Agent能力亮眼。Qwen团队告别混合思维模式，新模型上线，独立训练两模型，新版本多方面提升，团队称还有大招。