搜索：信息瓶颈理论

「信息瓶颈理论」共找到 1417 篇相关文章

关键突破：理论验证了 RL for LLM 路线的可行性

传统RLHF依赖人工标注偏好数据训练奖励模型，成本高且难扩展。本文发现任何通过Next - token预测训练的LLM内部隐含通用奖励模型，从理论和实验证明其可高效实现模型对齐。

本文报道Anthropic开发的Claude大模型，在近无人监督条件下，仅用一句任务描述和几千美元成本，算出理论物理前沿难题九圈六粒子散射振幅，刷新保持三年的八圈纪录，获原纪录创造者认可。

Google的「langextract」在GitHub获3.8K星，是信息抽取神器。它有精准源定位、可靠结构化输出等特点，支持多种LLM，适用于各领域，文章还给出实战代码示例。

当前个性化学习方法基于数据高质量且类别平衡的假设，但现实教育数据呈不均衡分布。华东师范大学和浙江大学团队在ICML2025提出NCAL方法，将神经坍缩理论引入该领域，解决教育数据长尾分布问题。

随着大语言模型走向真实交互，强化学习训练LLM agents时出现信息自锁问题。香港中文大学等研究者分析其原因并提出AREW方法，在多场景实验中表现稳定且具鲁棒性。

随着大模型发展，全参数微调成本高，参数高效微调（PEFT）成主流。常见基于矩阵低秩分解的PEFT方法有局限，张量化PEFT虽有优势但存在权重重建问题。本文提出ReFTA方法解决该问题，有工程和理论优势。

风投公司投资人晒出匿名Meta员工盘点的超级智能团队44名成员信息，半数来自中国，成员学历、履历等情况明晰，但有人质疑名单真实性和全面性，团队阵容或更庞大。

吴翼加盟Meta引发关注，目前清华叉院官网已撤其教职信息。他有丰富学术与产业经历，曾在多机构实习、任职，成果颇丰。叉院允许教职人员产学“双栖”，但Meta情况特殊。

Meta针对机器学习领域‘少即是多’悖论提出理论框架，用高维统计等方法推导测试误差缩放定律，揭示数据筛选‘相变’条件，为实践提供指导，还重新定义‘数据效率’意义。

现有大语言模型在数学推理训练时面临数据瓶颈，腾讯AI Lab与上海交大团队推出DeepMath - 103K数据集。它规模大、难度高、数据新颖、严格去污染，让DeepMath系列模型达SOTA，还能实现推理泛化。