「位置去偏」共找到 303 篇相关文章
Meta万引强化学习大佬跑路!用小扎原话作为离别寄语,扎心了
Meta万引强化学习大佬Rishabh Agarwal即将离职,用小扎原话“在这个瞬息万变的世界里,最大的风险就是不去冒险”作为离别寄语。他曾参与谷歌、Meta重要模型工作,下一站未明,Meta还有老员工出逃。
中国科学PMA|西工大张伟伟、索玮、宋家豪、曹文博:PINNs的局限性讨论与微分方程智能求解展望
物理信息神经网络(PINNs)是求解偏微分方程的热点方法,有统一处理正、反问题等优点,但也存在求解精度低、普适性差等局限。文章剖析其失效根源,展望了改进方向,为构建微分方程智能求解框架提供参考。
ICML 2025 | 注意力机制中的极大值:破解大语言模型上下文理解的关键
ICML 2025新研究揭示,在使用旋转位置编码 (RoPE) 的现代Transformer模型中,注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值,而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。
为什么AI大厂的人,都跑去做生命科学了?
越来越多AI人才投身生命科学,创办数十亿美元估值公司。这是因训练通用模型门槛高,而生命科学技术可迁移、产业愿付费且有成功先例。新一代公司AI位置、融资、技术目标有变化,但仍面临数据和临床验证问题。
小米万亿模型全面开源:MIT 协议、1M 上下文,但还是打不过 DeepSeek
小米开源 MiMo-V2.5 和 MiMo-V2.5-Pro 两款模型,采用 MIT 协议,适合商业应用。在基准测试中表现出色,有竞争力价格和限时优惠。但与 DeepSeek 比,架构创新偏工程化,也有推理表现不足等问题。
花了几百万办完一场AI大会后,想跟你分享这6个感悟。
作者分享举办AI大会的6个感悟,指出AI强大时线下真实更重要。如AI可消灭信息差但压缩不了体验差,品味是活出来的,线下交流能带来偶然性等,鼓励人们去线下获得真实体验。
ICLR 2026|首个微观世界模型MicroVerse来了,AI开始模拟看不见的世界
过去两年,世界模型成为大模型演进重要方向,但现有模型多聚焦宏观世界。本文提出MicroVerse模拟框架,将研究边界拓展到微观尺度,还推出MicroWorldBench评测基准和MicroSim - 10K数据集,推动AI从视觉模拟迈向科学模拟。
锁定角色,「多主体」也可控!个性化文生图,给你PS般交互体验
LayerComposer革新个性化图像生成,能让用户如在Photoshop般操控元素位置、大小,解决传统方法交互性与多主体扩展难题。它有分层画布、锁定机制、模型–数据共设计三大特点,实验表现出色,未来将促进人机协同创作。
传统训练效率很低?我们靠 “给模型降噪” 重新审视长上下文建模难题
文章指出长上下文模型处理长文本时易受噪声干扰,提出新评估指标IG分数和“上下文去噪训练(CDT)”方法。实验表明CDT优于现有策略,经其训练的开源模型在长上下文任务中性能媲美GPT - 4o。
北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署!
北大团队提出iFairy方案,将模型权重量化到复数集合,用2比特表示,压缩至原本1/8。推理仅需加减或交换数据位置,成本更低。Transformer架构“复数化”,iFairy模型PPL降10%,性能反超全精度,相关成果已开源。