「预训练研究」共找到 3687 篇相关文章
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
Ilya重磅发声：Scaling时代终结！自曝不再感受AGI
Ilya在与主持人Dwarkesh Patel的深度访谈中爆出惊人观点，认为Scaling时代已终结，我们正走向研究时代。他指出当前技术路线后劲不足，模型泛化能力远逊人类，还探讨了AI发展的诸多关键问题。
越可靠的AI就越人机，牛津大学：高情商模型错误率显著增加
牛津大学研究指出，训练模型变得温暖且富有同理心，会使其不太可靠且更奉承。温暖模型错误率较原始模型显著增加，对情绪上下文敏感，在用户表达情感与错误信息时失效常见。
航空发动机用上大模型：解决复杂时序问题，性能超越ChatGPT-4o实现SOTA｜上交创智复旦
上海交通大学李元祥教授等团队提出ITFormer架构，构建EngineMT-QA数据集。ITFormer能融合时序数据与大语言模型，适配多种编码器和模型，在EngineMT-QA预训练后达SOTA水平，实现高效数据分析。
为训推加速！全新FlashQLA注意力算子库开源
自Qwen3-Next发布，GDN成Qwen主力注意力层，随模型规模扩大开销增大。现开源FlashQLA算子库，融合优化GDN Chunked Prefill前反向算子，在NVIDIA Hopper上多场景加速，提升预训练和端侧推理效率。
被 AI 大厂逼至绝望，这帮欧洲人发起了一场“科学复兴运动”
AI前沿成果被科技巨头锁在“黑箱”，欧洲科学家、工程师等发起“科学复兴运动”成立LAION。他们构建开放数据集，训练出表现优异的模型，还进行“爱丽丝梦游仙境”研究测试大模型，探讨推理模型发展方向。
大突破！实验证明，RL能为LLM注入“创新”能力
此研究挑战‘RL不教新技能’观点，通过‘字符串转换预测’实验证明，RL能让LLM学会组合已有原子技能，形成可泛化、迁移的元技能，还给出模型能力提升路径。
MIT天才博士刚毕业，就被前OpenAI CTO抢走！年薪或300万起步
MIT天才博士肖光烜刚毕业就官宣加盟Thinking Machines，主攻大模型预训练。他履历耀眼，博士论文破解LLM三大难题，构建高效大模型框架。Thinking Machines薪资可观，平均年薪超OpenAI等公司。
ParScale：一种全新的大模型Scaling Law
文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。
动态RAG新工作：效果爆了，代码已开源
大语言模型幻觉问题突出，现有动态RAG方法信号不可靠。QuCo-RAG从预训练语料库挖掘统计证据，用客观频率替代主观置信度，实现毫秒级幻觉检测与动态检索触发，代码已开源。