「低精度训练」共找到 3138 篇相关文章
小模型用不好Skill?新范式让模型学会Skill的底层逻辑,3B模型推理token省5倍,性能反超
浙江大学联合美团龙猫团队、清华大学推出SKILL0,提出技能内化思路。它在训练中引入关键机制,让小模型把技能内化到参数里。实验显示,其效果出色,token效率高,为小模型成领域专家提供新方向。
从宁波到登陆港交所,“边缘AI芯片第一股”的突围之路
2月10日,爱芯元智登陆港交所,被誉为“中国边缘AI芯片第一股”。它以“混合精度NPU”与“AI - ISP”为核心技术,构建产品矩阵。营收增长强劲,客户基础拓宽,应用领域广泛,在行业中排名靠前,但也面临挑战。
比人类专家快2倍,斯坦福联合英伟达发布TTT-Discover:用「测试时强化学习」攻克科学难题
斯坦福与英伟达等机构联合提出 TTT - Discover 方法,让 LLM 在测试时强化学习。它在多任务上成绩出色,如在数学、GPU 内核等领域超越人类和其他 AI,计算成本低,或为持续学习打开新空间。
ChatGPT本来要5天后关掉
翁家翌在播客透露,起初推出ChatGPT是为收集用户数据,预期5天后关闭。他是OpenAI多代大模型发布贡献者,还分享了OpenAI内部情况,如模型训练、迭代速度等问题,也谈及自身经历和对AGI看法。
一封来自Transformer之父的分手信:8年了!世界需要新的AI架构
Transformer之父Llion Jones在TED AI大会上称要把对Transformer的爱好调成「低电量模式」。他认为大量资金与人才涌入使研究被「收窄」,大家只顾卷参数、抢发论文,没人探索新架构,他呼吁找回好奇心。
让大模型学会“像人一样”查证真伪
伊利诺伊大学香槟分校等校研究团队提出训练框架Veri - R1,为大模型提供“在线查证”新范式。它借助在线强化学习、精细化奖励机制和高质量数据,让模型学会像人一样查证,在多数据集上表现出色。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评,今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径,提出三大技术,使模型在多任务上突破,小参数规模下性能和推理速度佳。
小红书最新开源TTS力作!4人对话自然无缝,毫秒极速响应!
近年来TTS技术爆发,但多人对话的自然流畅性和长序列稳定性一直是难点。小红书团队开源的FireRedTTS - 2是面向多人对话场景的TTS模型,实现自然切换和低延迟,支持多语言,适用于多种场景。
智谱AI、清华开源新视觉大模型:刷新41项纪录,同级别最强
智谱AI与清华联合开源GLM - 4.5V视觉大模型,它基于GLM - 4.5 - Air开发,架构独特。在42项主流测试中创41项新纪录,多领域表现超Qwen2.5 - VL等模型,还采用新训练策略。
人格向量:大模型性格的数学解码与精准操控
大语言模型在应用中会出现危险行为偏移与训练引发的非预期偏移,传统方法难监控干预。本文发现人格特质在线性方向表现为“角色向量”,实现提前预测、实时监控和主动控制,为AI安全提供数学框架。