FP8精度」共找到 753 篇相关文章

开源动态8

清华SageAttention3,FP4量化5倍加速!且首次支持8比特训练

清华大学陈键飞团队提出针对BlackWell架构的SageAttention3,实现5倍于FlashAttention的推理加速,首次支持8比特训练。在多种大模型上保持端到端精度,代码将分别于6、7月开源。

机器之心
新闻资讯8

中国AI芯片大突围,DeepSeek V3.1引爆算力革命

DeepSeek V3.1发布,是中国AI技术自主性的战略突围。它有6850亿参数,采用UE8M0 FP8适配国产芯片,具混合推理架构、Agent能力等。其发布或重塑AI产业格局,推动国产芯片发展。

AIGC开放社区
开源动态8

让强化学习快如闪电:FlashRL一条命令实现极速Rollout,已全部开源

清华AIR、字节联合团队曾发布DAPO实现大规模LLM强化学习。刘力源、姚峰团队发现DAPO-32B中rollout生成是瓶颈,推出FlashRL,应用INT8/FP8,用TIS解决不匹配问题,加速显著且不牺牲性能,一条命令即可使用。

机器之心
开源动态7

Coding Agent 的一个啊哈时刻

作者翻用Codex在SGLD做Qwen - Image/HunyuanVideo的modelopt fp8支持的记录,发现Coding Agent思考过程与人类思路高度一致,如对比中间图和结果图判断量化精度,Infra领域核心技能或被其解决。

GiantPandaLLM
新闻资讯8

刚刚,谷歌Gemini 3.8登场!姚顺宇:RSI巨大飞跃

深夜谷歌推出Gemini 3.8,六周内第三款Flash系列模型。含通用的Gemini 3.8 Flash和网络安全专用的Gemini 3.8 Flash Cyber,提升推理、代码能力,在多场景表现出色。已面向不同群体开放。

机器之心
算法论文7

SMO | 西工大宁晨伽、张伟伟等:基于共享并行神经网络架构的多精度气动融合方法

高可靠性气动数据降本增效是关键命题。本研究总结主流多精度建模方法,提出基于共享并行架构的融合策略,区分公共与私有特征,提升融合框架表征能力,还通过算例验证方法有效性。

力学与人工智能
算法论文8

Sea AI Lab 揭秘:你费尽心力调的 LLM 一直在崩溃?罪魁祸首可能只是一个参数:BF16

Sea AI Lab 和新加坡国立大学研究指出,强化学习微调中训练不稳定和性能瓶颈,根源是数值精度 BF16。其低精度造成“训练 - 推理不匹配”,使训练易失败。将精度切换到 FP16 可解决问题,提升模型表现。

AI寒武纪
产品应用7

作业帮Flink On K8s落地实践

本文分享作业帮2025年Flink on k8s的探索与实践,包括选型思考、平台架构演进等关键内容。介绍了历史on Yarn模式的问题,阐述选型Flink K8s Operator模式的原因,还提及任务状态观测、环境资源成本等,分析核心问题并给出解决方案。

InfoQ
产品应用8

Qwen3.8-Max:编程与办公,全面跃升

今日正式发布Qwen3.8-Max,下周将开源其及Qwen3.8 - 27B模型权重。它参数达2.4万亿,在多方面全面提升。开发者可通过千问AI平台获API服务,性价比高。在编程、办公等场景表现出色,用户反馈良好。

千问大模型
产品应用7

iPhone 17 Pro居然能跑8B大模型!

iPhone 17 Pro竟能跑8B大模型,如Qwen3 - 8B,推理较流畅。作者换机一是因eSIM,二为拍视频。其认为AI普及需端侧落地,此机芯片性能是好信号,盼出优质iOS客户端。

newtype AI