「预训练研究」共找到 3718 篇相关文章
The Batch: 881 | 一千万 token 的输入上下文
Google的Ali Behrouz等人设计“记忆模块”集成到类transformer架构ATLAS，能处理一千万token输入。它替代注意力层，训练后在长上下文任务中表现佳，但小模型，大规模表现未知。
2.3K Star 霸榜GitHub！DeepResearch最佳开源平替！
DeepResearch能递归拆解复杂任务自动生成报告，但OpenAI的相关产品费用高且闭源。霸榜GitHub的ROMA由Sentient AGI团队开发，性能超Grok - 4等，是开源杀手，还介绍了功能、使用方法和应用场景。
英伟达联手QCI搞大事：量子应用能在真机前先模拟纠错
量子电路（QCI）公司联合NVIDIA，将CUDA - Q编程能力集成到Aqumen软件套件。QCI的双轨量子比特设计易纠错，有检测、控制流、处理错误三大功能。二者结合能让开发者在真机前模拟纠错，加速量子计算商业化。
37岁获诺奖、遭受10年学术不端争议，逆转录酶发现者大卫·巴尔的摩去世，生前最后一周还在发表论文
37岁就获诺奖的大卫·巴尔的摩去世，享年87岁。他1970年发现逆转录酶，颠覆传统遗传“中心法则”，还在免疫学等多领域贡献卓越，虽曾陷“巴尔的摩事件”学术争议，但最终合作者指控被撤销。
他们在1993年就提出了Scaling Law
原来，Scaling Law在32年前就被提出了，不是2020年的OpenAI、不是2017年的百度，而是1993年的贝尔实验室。在一篇文章里提出一种预测方法，研究人员可以预测模型在更大数据集上的表现，这和现在大家常提的Scaling Law几乎一致。
群核科技开源两款空间大模型，想解决 Genie3 没能彻底解决的问题
2025年8月25日群核科技举办TechDay，发布专注3D室内场景的空间大模型，开源SpatialLM 1.5和SpatialGen。两款模型分别解决理解交互和空间一致性问题，有实际应用价值，还介绍了数据飞轮效应及模型相关问答。
首创郎园携手BFA影像传媒学院，成立AI视听产教融合实验室
8月19日，首创郎园与北京电影学院影像传媒学院共建的AI视听产教融合实验室在郎园Station园区揭牌。首创郎园称影视人才需求变了，实验室将依托双方优势培养AI视听人才，首个项目即将启动。
刚刚，商汤内部两万字复盘曝光：多模态通往AGI核心路线首次公开
商汤科技联合创始人林达华撰写万字长文，剖析将「多模态通用智能」视为技术战略核心引擎的原因，探索组织及战略层面的思考。文章回顾商汤多模态之路，探讨多模态通向AGI的原因、构建路径等关键问题。
Anthropic 反杀 OpenAI，LLM 企业市场新格局
Menlo Ventures 报告显示，Anthropic 超越 OpenAI 成企业 LLM 市场新王者。代码生成成杀手级应用、强化学习成扩展路径、Agent 时代到来支撑其胜利。企业重性能，支出从训练转向推理。
别只盯着李飞飞！AI的「3D数据底座」已被这家中国公司悄悄建好
群核科技构建具身智能时代的「3D版ImageNet」，其SpatialVerse平台为机器人提供三维数据与仿真环境。借助新技术发布全球首个3D语义数据集InteriorGS，还与多机构合作，成果获学术和产业认可。