「信号理论」共找到 341 篇相关文章
Thinking Machines再发文:模块化流形让训练更稳定
Mira Murati团队分享神经网络训练推理新研究,提出“模块化流形”让训练更稳定。将权重约束在Stiefel流形,设计Manifold Muon优化器,实验显示效果好,但计算开销和理论问题待解决,代码已开源。
从「会说」迈向「会做」,LLM下半场:Agentic强化学习范式综述
过去LLM训练多依赖PBRFT范式,但局限明显。2025年初起,Agentic RL新范式受关注。此综述论文梳理该方向,覆盖500+研究,构建理论框架,讨论未来挑战,助LLM从「会说」迈向「会做」。
对「学习」的一切认知都错了
曾被认为不可能的超大模型如今成功驱动ChatGPT等,改变了对学习的理解。彩票假说解释其成功:大网络有中奖子网,能提供更多找简单解的机会,调和了经验与经典理论。
破解「长程智能体」RL训练难题,腾讯提出RLVMR框架,让7B模型「思考」比肩GPT-4o
腾讯混元AI数字人团队提出RLVMR框架,将‘元认知’理论引入RL,通过奖励‘好的思考过程’解决长程任务中智能体的低效探索与泛化难题,经其训练的7B模型表现出色。
OpenAI去年挖的坑填上了!奖励模型首现Scaling Law,1.8B给70B巨兽上了一课
全新奖励模型「POLAR」采用对比学习范式,摆脱对海量人工标注依赖,有强大Scaling潜力。它衡量训练与目标策略「距离」作奖励信号,用自动化合成数据预训练,小模型能超越大数十倍规模对手。
AI自己给自己当网管,实现安全“顿悟时刻”,风险率直降9.6%
大型推理模型有安全风险,此前监督微调泛化能力有限。SafeKey团队提出创新的SafeKey框架,发现大模型信息“越狱”两大核心,通过双通路安全头和查询遮蔽建模强化模型安全,实验验证其有效性。
从沙子到会“思考”的智能材料,张朝阳与物理学家刘若微揭秘世界的底层逻辑
8月12日,张朝阳与刘若微教授围绕“复杂的世界:从沙子到智能”主题,从沙堆、泡沫切入软物质与非平衡统计物理前沿,探讨阻塞相变、低功耗类脑智能材料研究路径及未来潜力,还分享科研感悟。
翁荔最新博文深度拆解Scaling Laws:AI行业最信赖的公式,没有那么可靠
6月24日,前OpenAI安全研究副总裁翁荔在博客发表长文,对缩放定律进行系统梳理,指出该理论在实际拟合和外推过程有易被忽视的陷阱,还讨论了数据有限时定律是否成立等问题。
“没有一张卡是空的”,阿里腾讯加码,算力军备进入“抢购下半场”
5月13日,腾讯和阿里巴巴释放AI算力投资加码信号。腾讯业绩增长,资本开支增加,高层称下半年采购提速;阿里CEO吴泳铭表示服务器算力利用率近极限,投资回报确定,支出或超3800亿。产业呈现三重新趋势。
种子轮10.3亿美元!谢赛宁加入,LeCun的世界模型公司太吸金了
图灵奖得主 Yann LeCun 创办的先进机器智能实验室(AMI)官宣起航,完成 10.3 亿美元种子轮融资,估值 35 亿美元,谢赛宁加盟。AMI 目标是做理解现实世界的 AI,想走世界模型路线。