「预训练模型」共找到 8235 篇相关文章
清华刘知远团队论文：最小化结构改动，短文本到长文本丝滑升级 | ICLR 2026
大语言模型发展中，上下文长度成关键瓶颈，主流架构计算开销大。清华刘知远团队提出《InfLLM-V2: Dense-Sparse Switchable Attention for Seamless Short-to-Long Adaptation》，提出可切换注意力框架，为长上下文研究提供新思路。
DeepSeek悄悄开源LPLB：用线性规划解决MoE负载不均
昨天，DeepSeek 在 GitHub 上线新代码库 LPLB 解决 MoE 负载不均。它利用线性规划算法优化专家并行工作负载分配，能处理动态波动，但也存在忽略非线性成本等局限，对 MoE 架构训练加速有参考价值。
OpenAI官宣GPT-6 Astra，AGI时代要来了吗
OpenAI官宣GPT - 6 Astra，自称‘世界上最聪明、对齐最好的模型’，总裁称迎来AGI时代。它成绩亮眼，能直接完成工作，达网络安全阈值，训练让AI深度参与，但价格较贵。
SkyReels-Audio让嘴型和音频完美匹配不再难
音频驱动的动态人脸生成研究较少，昆仑万维提出SkyReels - Audio框架，基于预训练视频扩散变换器构建，支持无限长度视频生成与编辑，采用混合课程学习等策略，保障视频视觉保真度和时间一致性。
OpenAI公告正经解释：为什么GPT-5.5爱说“哥布林”
OpenAI官网发公告回应GPT-5.5爱说“哥布林”问题。原来是对“书呆子”人格训练时，无意中对使用生物比喻的模型给予高奖励，导致“哥布林”表述扩散。之后移除相关奖励和过滤数据来解决。
西湖大学张驰团队：从视觉合成到空间理解，视频 AI 正在「转向」丨CVPR 2026
过去两年视频生成发展近成熟，但多数模型缺乏空间结构稳定建模能力。西湖大学AGI Lab团队提出论文，将问题落回推理阶段，让相机轨迹成约束条件，推进视频生成到三维结构约束建模。
We-Math 2.0：全新多模态数学推理数据集 × 首个综合数学知识体系
北京邮电大学、腾讯微信、清华大学团队提出We - Math 2.0，含知识体系、数据集及训练策略，可提升模型数学推理泛化能力。该成果在X上获关注，登Huggingface Paper日榜第一。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
桌面 Agent 的下一步：不是会操作，而是会调度工具
复旦大学和通义实验室提出 ToolCUA，让模型在 GUI 与工具调用间编排路径。它从已有 GUI 轨迹合成训练数据，设计奖励机制，在 OSWorld - MCP 评测中效率与准确率大幅提升，为 CUA 发展提供方向。
100美元、8000行代码手搓ChatGPT，Karpathy最新开源项目爆火，一夜近5k star
AI大神Andrej Karpathy发布开源项目nanochat，可教你100美元自建ChatGPT，覆盖LLM训练和推理。项目有8000行代码，不到12小时获超4500 star，功能丰富，但他认为它不适合个性化应用。