「预训练研究」共找到 3712 篇相关文章
ChatGPT到底学了多少「污言秽语」？清华团队首提大语言模型中文语料污染治理技术
清华等团队研究发现，先进ChatGPT系列模型中文词表污染达46.6%，含色情、赌博等词元。团队定义分类中文污染词，构建识别模型，还能由词表污染估计数据污染，为语料治理提供方案。
研究者警告：强化学习暗藏「策略悬崖」危机，AI对齐的根本性挑战浮现
强化学习是大模型推理与对齐的核心方法，但常带来模型行为脆弱等问题。上海人工智能实验室徐兴成博士论文揭示‘策略悬崖’挑战，分析其成因，解释多种对齐失败现象，并提出对AI研究的启示。
77岁Hinton首度访华，周伯文高能交锋！17分钟尖峰对话震撼全场
7月26日，77岁的AI教父Hinton首度访华，与周伯文教授进行17分钟尖峰对话。Hinton称多模态大模型已有「意识」，建议分技术训练「聪明」与「善良」AI，两人还探讨AI发展路径并寄语青年科研者。
创业三年半，23人的AI公司卖了30亿
投资界消息，英伟达超4亿美元收购加拿大AI初创公司CentML，将其19人团队收入囊中。CentML由95后华人博士王尚及导师创立，以‘张量编译器Hidet’为核心技术，降低AI训练成本。
碾压DeepSeek V3！开源AI Agent专属模型，1万亿参数、工具使用能力超强
国内大模型平台月之暗面开源了模型Kimi - K2，这是混合专家模型，总参数1万亿。它针对AI Agent优化，工具使用能力强。测试显示其性能碾压DeepSeek V3等模型，训练流程还有独特技术创新。
钉钉上跑出的第一个行业专属大模型落地：准确率超 90% 的妇科专业大模型
近日，壹生检康在钉钉企业专属 AI 平台训练出“豆蔻妇科大模型”，准确率达 90.2%。钉钉构建支持体系助企业构建大模型，后续还将帮伙伴构建模型和智能体，服务中小企业。
Anthropic 兄妹 Dario Amodei 和 Daniela Amodei 最新对话：Claude 为什么一直限速？
在 5 月 6 日 Anthropic 开发者大会上，兄妹 Dario Amodei 和 Daniela Amodei 对话，谈到 Claude 限速因 2026 年 Q1 增速年化 80 倍远超规划，还涉及开发者生态、模型训练、能力释放等话题，强调平衡发展与安全。
清华联手千问重塑归一化范式，让 Transformer 回归「深度」学习
Pre - Norm和Post - Norm是Transformer架构中稳定信号流的关键范式，但面临权衡取舍。近日，清华黄高团队联合千问团队提出SiameseNorm，构建参数共享的平行通路，实现稳定训练并提升性能。
10B超越Gemini-2.5-Pro！阶跃星辰端侧多模态天花板开源
阶跃星辰多模态智能团队开源STEP3-VL-10B多模态模型，仅100亿参数却性能惊人。它采用了独特的架构、训练策略与推理机制，在多任务上表现出色，为小模型发展提供新思路。
硅基大脑记忆觉醒！会遗忘、会反思、会成长的AI正在到来
哈尔滨工业大学等机构团队发表研究，用认知神经科学视角审视AI记忆系统，探讨如何让AI产生“自我”，构建会遗忘、反思、成长的记忆大脑，还涉及记忆分类、存储、管理、评估、防御及未来演进等内容。