FP8混合精度训练」共找到 464 篇相关文章

算法论文8

拒绝计算“一视同仁”!Elastic Attention:让大模型学会“看人下菜碟”

现代大语言模型用全注意力机制计算复杂度高,现有混合注意力策略是静态的。为此提出Elastic Attention,引入轻量级Attention Router,具备动态路由等亮点,在主流模型测试中效果好。

深度学习自然语言处理
开源动态8

港大开源视频版RAG,像聊天一样看完百小时纪录片。

港大HKUDS团队开源超长视频理解框架VideoRAG,突破传统模型时长限制,支持对数百小时视频精准检索和问答。还有桌面应用Vimo,使用简单高效。介绍了其切片索引、混合检索、生成回答的实现逻辑。

开源AI项目落地
新闻资讯8

硅谷热议:最快语音转文字模型

AI语音独角兽ElevenLabs发布Scribe v2 Realtime实时语音转文本模型,实现150毫秒超低延迟、93.5%高准确率,覆盖90多种语言,打破速度与精度不可兼得困境,此前该领域痛点多。

量子位
开源动态8

英伟达GEAR实验室刚刚放出大招,物理世界的自动研究 AutoResearch 首次成为现实

英伟达GEAR实验室实现物理世界自动研究AutoResearch,其ENPIRE系统让8个Codex智能体接管机器人舰队自主完成研究流程,将高精度操作成功率提至99%,还发现新物理缩放法则,项目即将开源。

AI寒武纪
算法论文8

告别噪声初始化:NTU MARS Lab提出A2A新范式,实现机器人高性能单步动作生成

新加坡南洋理工大学 MARS Lab 提出 Action-to-Action (A2A) Flow Matching 新范式,以历史机器人轨迹为生成起点,打破生成速度与精度瓶颈,在训练效率、推理速度及泛化表现上佳,还可扩展至视频生成领域。

机器之心
算法论文8

仅用1/9的token拿下SOTA,用LLM当知识路由:全新RAG框架DeepSieve

大语言模型遇「最新」或「垂直领域」知识易出错,传统RAG做法有痛点。全新RAG框架DeepSieve把LLM当知识路由器,四步筛选信息,实验精度高、成本低,消融实验明确各模块价值,还有救场案例。

PaperAgent
新闻资讯7

叫板英伟达RTX 5090!GPU初创公司做出13倍路径追踪性能的怪兽显卡

芯片初创公司Bolt Graphics首款GPU模组Zeus 4C,路径追踪性能达RTX 5090的13倍。但它不适合游戏场景,更擅长低功耗高精度图形渲染,不过测试、应用、价格目前都是未知数。

量子位
算法论文8

揭示扩散语言模型扩展定律,人大高瓴团队与蚂蚁集团发布LLaDA MoE v2

中国人民大学高瓴人工智能学院与蚂蚁集团合作,首次系统刻画混合专家扩散语言模型扩展定律,据此训练LLaDA MoE v2,实现扩展效率与智能双重突破,将推动其迈向规模化时代。

机器之心
开源动态7

纯本地隐私绝佳,没网也能翻,30+语言支持!

日常常用翻译工具依赖云端,有隐私风险。开源离线翻译项目`Argos Translate`,基于Python开发,支持多语言互译,有多种使用形式。虽翻译精度略逊,但隐私性好、可自由部署,适合有安全需求的用户。

开源先锋
产品应用8

搜狐架构演进技术实践:我们如何用 MCP Registry 根治 AI Agent 的“千具之灾”

本文讲述搜狐团队在构建企业级 AI Agent 时遭遇‘千具之灾’,当前路由模型方案引发‘治理噩梦’。后通过研究 MCP Registry 获新思路,设计新架构,构建 PoC 原型,并对混合路由等问题展开思考。

InfoQ