「预训练研究」共找到 3687 篇相关文章
Transformer作者：DeepSeek才有搞头，OpenAI指望不上了
Transformer发明者Ashish Vaswani认为OpenAI等闭源厂商被商业化冲昏头脑，没心思做基础研究。他All in基础研究，坚持开源路线，想打造西方世界的DeepSeek。其团队论文提出颠覆性观点，或降低训练成本。
“交互式Scaling”：增加Agent与环境交互的深度和频率来提升性能
在AI发展中，商业研究Agent是“黑箱”，开源研究Agent性能有差距。MiroMind团队推出MiroThinker v1.0，提出“交互扩展”提升性能，在多基准测试表现出色，也指出了当前版本的局限。
通义实验室大火的 WebAgent 续作：全开源模型方案超过GPT4.1 , 收获开源SOTA
WebAgent续作《WebShaper: Agentically Data Synthesizing via Information-Seeking Formalization》提出对information-seeking任务形式化建模，设计训练数据合成方法，全开源模型方案在GAIA评测获SOTA表现，还补足了训练数据不足问题。
中心动态重分配哈希，北邮团队提出并开源CRH项目 | AAAI 2026
北京邮电大学等机构联合提出新颖端到端框架 CRH，在训练哈希函数时动态更新哈希中心，提升检索精度和语义一致性。论文被 AAAI 2026 收录，代码已开源。
何恺明新身份：谷歌DeepMind杰出科学家
网友爆料何恺明加入谷歌，经确认他以兼职形式成为谷歌DeepMind杰出科学家。可根据其近期研究推测研究方向，他还探讨生成模型能否走向端到端。何恺明履历辉煌，成果众多。
解锁任意步数文生图，港大&Adobe全新Self-E框架学会自我评估
香港大学与Adobe Research联合发布Self - E框架，可从零训练实现任意步数文生图。它改变训练范式，用两条互补训练信号，在GenEval基准表现出色，让文生图训练更灵活且具扩展性。
CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了
北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。
LeCun出手，造出视频世界模型，挑战英伟达COSMOS
训练有效世界模型面临数据、任务难度、算力消耗和评估等难题。Meta研究者提出通用视频世界模型DINO - world，可预测未来帧，在多方面有优势，实验显示其性能显著，能降低对标注数据需求。
仅需152个样本，性能提升48%：Memory-R1如何重塑Agent记忆能力？
这篇文章解读论文Memory - R1，其由多所高校研究团队完成，旨在解决LLM在长对话和多轮任务中的‘记忆难题’。通过强化学习让LLM学会管理记忆，用152个问答对训练，大幅超越现有基线模型。
爆火论文颠覆RL认知！「错误奖励」让LLM推理暴涨24.6%，学界惊了
最新爆火论文颠覆传统RL训练认知，华盛顿大学等团队证实「伪奖励」可让LLM推理性能提升。研究设置多种伪奖励形式实验，发现其对Qwen模型有效，但并非对所有模型都有效。