搜索：大模型预训练

「大模型预训练」共找到 9625 篇相关文章

用两个简单模块实现分割理解双重SOTA！华科大白翔团队等推出多模态新框架

华中科技大学和金山办公团队联合提出语义增强特征提取器（SEFE）和交错局部视觉耦合（ILVC）模块，构建多模态大模型LIRA，解决现有模型分割不精确和理解有幻觉问题，在分割和理解任务上达SOTA。

清华大学团队推出Dolphin模型，仅用6M参数，通过离散化视觉编码和热扩散注意力机制，实现单次推理精准分离语音，速度提升6倍以上，在多项基准测试中刷新纪录，为端侧设备部署开辟新路。

通义文档智能团队推出QwenLong - L1.5长文本推理专家，提供端到端长文本推理后训练“配方”，含数据合成管线、强化学习方法、智能体架构，在多基准测试成绩佳，代码已开源。

在Code RAG场景中，传统文本Embedding模型处理代码表现欠佳。蚂蚁集团与上海交通大学联合发布C2LLM系列模型，引入注意池化模块，在MTEB - Code榜单表现出色，还得益于优质训练流程，成果已回馈社区。

中山大学人机物智能融合实验室联合拓元智慧提出新型高效世界模型框架DDP - WM。它解耦动态预测，在提升推理速度同时，提高规划成功率，如Push - T任务规划速度提9倍、成功率从90%升至98%。

Qwen版深度研究加速进化，增加听觉和视觉输出，可生成网页和音频。改进功能同时更新模型，Qwen3 VL能识别医生手写体。实测新功能表现出色，Qwen3-VL系列更新后性能优异。

音乐生成领域有重大突破，腾讯AI Lab开源高保真音乐生成模型LeVo。它由LeLM和音乐编解码器组成，能解决现有方法在音质、音乐性等方面的局限，实验显示其优于现有方法，功能强大且适用场景多。

元脑企智 EPAI 推出「多模融合」API，让多个模型围绕同一任务协同工作。经代码生成、财务分析等测试及权威评测，效果出色。还采取智能调度等策略，现限时申请可免费使用，豪赠1亿token。

8月至9月，Claude模型质量下降，Anthropic将问题归咎于三项基础设施漏洞。开发者不满，质疑官方用bug搪塞，要求退款。官方虽剖析问题并提出改进方案，但很多用户已不再买账，Claude用户流失问题持续数月。

新智元十周年圆桌论坛上，七位嘉宾探讨通往AGI与ASI的关键问题，如智能核心、AI能效、游戏与AI关系等。他们认为AI发展超预期，语言是智能核心，实现ASI关键在能耗，还谈及芯片与人脑差距、物理世界发展慢等话题。