混合精度」共找到 442 篇相关文章

算法论文7

ICLR 2026 | 越推越快! 首个面向「Test-Time Scaling」的投机解码基准

文章指出推理阶段扩展(TTS)能提升推理大模型解决复杂问题的能力,但会产生大量冗余计算。为此提出首个面向TTS的投机解码加速综合基准,评测显示N - gram方法在特定场景加速潜力大,混合策略性能更优。

AI科技评论
新闻资讯7

谷歌迎来“DeepSeek时刻”!TurboQuant引爆AI圈、全球开发者疯狂复现:6倍无损压缩,内存股集体暴跌

谷歌研究院发布 TurboQuant 压缩算法,能在提升速度、保持准确性的同时,降低大语言模型内存占用,可将键值缓存压缩至少 6 倍,速度最高提升 8 倍。该技术无需额外训练,精度零损失。目前虽未大规模部署,但已引发内存股下跌。

AI前线
推荐文章7

为什么 DeepSeek 大规模部署很便宜,本地很贵

文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。

AI前线
开源动态8

单卡可跑18万原子!分子模拟的“规模焦虑”该终结了

至知创新研究院UBio团队发布的UBio-MolFM v1.5,是可进行分子动力学模拟的机器学习原子间势函数。它在精度和规模上有提升,实测中表现优于经典力场,架构、数据和训练都有创新,误差降45%,速度提8倍,现已开源。

量子位
新闻资讯7

腾讯披露元宝已是TOP3应用

2025腾讯全球数字生态大会信息量大。腾讯元宝日活冲前三,混元3D建模精度提升3倍。C端产品逐步落地B端,如腾讯云CodeBuddy等。腾讯云还将带成熟生态出海,投资1.5亿美元在沙特建数据中心。

量子位
产品应用8

文心X1.1三大能力狂飙,海内外实测还挺惊艳!

9日WAVE SUMMIT深度学习开发者2025大会上,文心大模型X1.1发布,事实性、指令遵循、智能体能力显著提升,多项测试表现佳。它能做到知识一致,精准遵循指令,智能体解决问题出色,代码、数学、多模态能力也有进化,得益于迭代式混合强化学习训练框架。

新智元
算法论文8

为什么BF16的FlashAttention会把训练「炸掉」?清华首次给出机制解释,用极简改动稳住训练

社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题,清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致,还给出极小修改稳定训练,且在多模型和硬件上验证有效。

机器之心
开源动态8

Qwen3-VL-Embedding系列上新:探索统一多模态表征与排序

2025年6月曾开源Qwen3-Embedding和Qwen3-ReRanker,现推出Qwen3-VL-Embedding和Qwen3-VL-Reranker。它们基于Qwen3-VL构建,能处理多模态输入,在多任务达业界领先,还介绍了特性、评测及使用方法。

通义千问Qwen
算法论文7

少说‘Wait’,多做题:NoWait重塑大模型推理路径

现代大模型在复杂推理时爱用自我反思词,触发冗余验证循环,拖慢速度、增加算力消耗。NoWait方法零训练成本,通过抓关键词、扩展变体、实时屏蔽,让模型跳过废话,在多任务中表现出色,且颠覆对推理的认知。

深度学习自然语言处理
推荐文章7

OpenAI 智能体工程指南:10 条实战技巧和 3 种构建模式

OpenAI 给出智能体工程实战手册,介绍用技能、Shell 工具和上下文压缩三 API 让智能体稳定工作。全文涵盖概念、10 条实战技巧、3 种构建模式,有实用案例但数据精确度存疑。

宝玉AI