「预训练研究」共找到 3695 篇相关文章
这一年，DeepSeek消耗14万亿Token，编程仅占1/10，超一半用于角色扮演？
a16z和OpenRouter基于100万亿token研究揭示LLM使用情况：开源模型占三成市场，编程任务成刚需，角色扮演是金矿。还提到‘玻璃鞋效应’影响用户留存，市场分层为‘高端闭源+性价比开源’双轨制。
自媒体误读了 DeepSeek-OCR：一图胜千言
近期，DeepSeek-OCR引发关注，但很多媒体误读其为OCR工具，实际是视觉语言模型。它是为大文档等场景优化的视觉压缩与识别系统，架构新颖，训练讲究，效果出色，为行业带来新思路。
ChatGPT缔造者联手DeepMind大神，用AI攻坚高温超导，半个硅谷抢着投
OpenAI前研究副总裁Liam Fedus与DeepMind材料科学领军者Ekin Cubuk共创Periodic Labs，以3亿美元种子融资走出隐身模式。他们要打造「AI科学家」，构建自主实验室，攻坚高温超导等难题，获众多资本青睐。
250份文档“毒晕”大模型！无论规模大小统统中招
Claude母公司Anthropic联合两大机构研究发现，仅250份恶意文档就能在不同规模大模型植入“后门”漏洞，打破以往对大模型数据中毒的认知，给厂商防御敲响警钟。
Thinking Machines曝LoRA终极指南：10倍学习率，媲美全参微调
Thinking Machines推出论文《LoRA Without Regret》，研究LoRA与FullFT达到相近表现的条件。通过实验发现，把握关键细节，LoRA可与FullFT性能相当，还探讨了关键因素、批大小效应等内容。
具身智能从此「边听边说」，智源研究院开源原生全双工语音大模型RoboBrain-Audio
北京智源研究院联合多方发布原生全双工语音对话大模型 RoboBrain - Audio，采用新架构和创新训练范式，在性能上全面领先，革新音频 - 文本对齐方式，丰富了 RoboBrain 全栈体系，推动具身智能发展。
腾讯提出SPO，告别Group
腾讯团队提出Single - stream Policy Optimization（SPO），回归单流策略梯度范式，解决组基方法瓶颈。它有多项亮点，如告别组同步、采用自适应价值跟踪等，在实验中提升了模型性能和训练吞吐。
蚂蚁开源MedResearcher-R1医学知识图谱+多跳推理
医学领域需处理复杂关系，现有医学AI系统缺乏对罕见实体和复杂关系的推理能力。MedResearcher - R1通过专门图谱和检索工具，结合两阶段训练范式解决问题，在医学基准测试取得新成果。
刚刚，谷歌摊牌：Genie 3让你1秒「进入」名画，人人可造交互世界！
谷歌新发布Genie 3世界模型，能从文本生成交互式AI空间世界，操控图像和视频。用户可进入《苏格拉底之死》《夜游者》等名画探索，还能利用它训练3D模型，实现沉浸式体验。
DeepMind 再放大招，AlphaGenome 能一次性处理百万碱基对，基因组里的“垃圾代码”这下藏不住了
Google DeepMind发布AI模型AlphaGenome，可预测遗传变异对基因调控的影响。它能处理百万碱基对，结合关键技术，性能顶尖，还能直接建模RNA剪接点，已面向非商业研究开放，引发医疗AI应用讨论。