「预训练研究」共找到 3695 篇相关文章
中国科学家首次手搓出“球状闪电”！刘慈欣科幻小说照进现实
4月16日，中科院上海光机所团队在《自然·光子学》发文，首次在实验室可控生成具球状闪电典型特征的宏观电磁孤子。其存活时间长、空间尺寸大，还能为研究提供受控平台，有潜在应用价值。
让AI学会潜意识推理，Sapient发布类脑模型HRM
新加坡初创公司Sapient Intelligence发布仅2700万参数的分层推理模型HRM，在多项高难度推理任务上超越大模型。它绕过大模型推理困境，借鉴大脑机制，训练效率高，开源后GitHub星标突破10.3k。
10万智能体同场模拟，YuLan-OneSim带来真正的大社会实验
YuLan-OneSim是大语言模型驱动的社会模拟器，能模拟人类社会行为。它可零代码构建场景，有50个默认场景，具分布式架构，支持10万智能体同场模拟，还推出AI社会研究员，自动完成社会科学研究流程。
我给剪辑产品 0 元雇了个外部研发部：它开始自进化
作者的剪辑产品有了“外部研发部”——Agent。它每天研究新方法、用真实项目测试。作者三步搭建此“研发部”，让其自动查询、测试和汇报，自己负责最终决策，项目获取新方法不再只靠偶然。
没想到，又一个Code Agents瓶颈，被美团&上交大彻底撕开了~
AI写代码能力提升，但打分方法僵化且成本高。上交大与美团论文提出新基准PRDBench，让AI出题人审核，还训练裁判PRDJudge，提升打分准确率与稳定性，促使AI学会‘看懂需求’。
大语言模型逻辑评估
现有归因问答评估方法有‘归因短视’问题，研究团队提出 LOGICSCORE 框架，从三维度量化推理质量。在多数据集测试多款 LLM，发现专有、开源模型等存在不同逻辑问题，还分析典型逻辑错误。
「熟悉的陌生人」才是「好老师」？复旦提出简单指标，找出推理蒸馏中真正有教学价值的数据
复旦大学和上海人工智能实验室研究者提出 Rank - Surprisal Ratio (RSR) 度量方法，综合考虑样本信息量与对齐程度，在蒸馏实验中与学生模型后训练性能相关性高，可用于筛选推理轨迹和选择教师模型。
0.01%参数定生死！苹果揭秘LLM「超级权重」，删掉就会胡说八道
苹果研究人员发现大模型中极少量的「超级权重」，即便占比仅0.01%，对模型能力影响巨大。这一发现为大模型「科学瘦身」提供思路，还提出定位方法，助力模型量化和未来研究。
刚刚，字节开源Seed-OSS-36B模型，512k上下文
深夜，字节跳动Seed团队开源Seed-OSS系列模型，含三个版本。其用12万亿tokens训练，在多基准测试表现出色。有灵活推理预算控制等特性，原生支持512K上下文窗口，基准测试成绩佳。
ACL 2025｜自我怀疑还是自我纠正？清华团队揭示LLMs反思技术的暗面
本文指出反思技术虽简单有效，但在多种LLMs和任务中会失败。清华团队剖析其在开源和闭源LLMs、四种任务上失败原因，提出轻量级缓解方案，为反思技术可解释性研究奠基。