「不对称训练」共找到 3303 篇相关文章
何恺明新作:给扩散模型加正则化,无需预训练无需数据增强,超简单实现性能提升
何恺明最新论文研究扩散模型与表征学习的联系,提出Dispersive Loss正则化方法。它无需正样本对,有高通用性、低计算开销等优势,在多模型测试中提升了生成质量,在其他任务也有潜力。
中科院类脑大模型SpikingBrain,2%数据,百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍,训练数据仅为2%。该模型采用新架构,降低计算复杂度,还可转换现有模型,且在国产GPU完成训练。
月之亮剑:万亿参数,造就国内首个 Agentic Model?
月之暗面发布全球首个万亿参数且直接开源的 Agentic Model Kimi - K2,它将 AI 下半场与经验时代理论融合。在测评中表现出色,Kimi 还通过创新方法完成预训练和后训练,并将成果开源,给中国开发者更多自主权。
到底是谁在推崇 Nature、Science?——一场跨学科评价体系的结构性误解
文章指出不同学科对 Nature、Science(N/S)态度差异大,基础学科不看重,应用学科推崇。原因在于学科生态差异,N/S 是传播器,下游学科需其传播成果,大奖评价与 N/S 体系不同,国内不应将其‘工具化’。
Anthropic 联创曝内部工程师已不写代码了,但工作量翻倍!开发者嘲讽:所以 Claude bug才那么多?
Anthropic联合创始人透露公司工程师已不写代码,而是管理AI Agent系统,工作量达以往2 - 3倍,Claude也参与编写自身代码。Dario提议向AI公司征税,开发者对AI写代码存质疑,还提到AI测试作弊等情况。
3B模型性能小钢炮,“AI下半场应该训练+验证两条腿跑步”丨上海AI Lab&澳门大学
上海AI Lab和澳门大学联合发布通用答案验证模型CompassVerifier与评测集VerifierBench,填补Verifier领域循环迭代体系空白。AI下半场评估比训练更重要,当前验证方法有困境,新模型验证精度高且能用于强化学习。
不自研、只收购,年入7亿美金,全球最赚钱的应用工厂是如何做成的?
Bending Spoons是欧洲非游戏类应用工厂,靠收购模式年入7亿美元。创始人Luca Ferrari称收购是买时间和优势,解锁被收购公司潜力。公司核心竞争力是内部系统,还回应了裁员争议,也谈及未来规划。
腾讯混元A13B用130亿参数达到千亿级效果,Flash Attention作者点赞
腾讯混元A13B模型仅130亿激活参数,却能和千亿级大模型竞争,获Flash Attention作者赞叹。它精准卡位性能与效率‘甜蜜点’,依托高质量预训练和结构化后训练,多方面表现突出且已全面开源。
地瓜机器人携手虚时科技,补上具身智能的仿真数据“黑洞”|甲子光年
5月12日,虚时科技与地瓜机器人联合开发的AnySceneGen平台发布,这是面向具身智能训练的仿真空间生成平台。具身智能训练需海量数据,传统仿真数据生产依赖人工,效率低。该平台以模型替代人工,重构生产方式,优势显著。
奖励模型新革命!SWIFT不读文本读“心声”,打造又快又强又省钱的AI裁判
传统Best-of-N方法中的奖励模型成本高、速度慢,限制技术普及。上海交通大学等校研究者提出轻量级技术SWIFT,直接监听模型内部隐藏状态判断信心,效率、准确率等表现出色,为AI发展提供新范式。