「预训练研究」共找到 3729 篇相关文章
全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注
康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。
ICML 2025 | 千倍长度泛化！蚂蚁新注意力机制GCA实现16M长上下文精准理解
在大语言模型发展中，长文本建模挑战大。蚂蚁研究团队提出注意力机制GCA，可端到端学习检索相关片段，实现超长序列处理与泛化，其Triton kernel实现已开源，论文被ICML 2025接收。
比自回归更灵活、比离散扩散更通用，首个纯Discrete Flow Matching多模态巨兽降临
近年来多模态大模型多采用自回归架构，推理缺乏灵活性。香港大学和华为诺亚方舟实验室研究团队提出FUDOKI，基于全新非掩码离散流匹配架构，能并行去噪、动态修正，为多模态模型开辟新路径。
AI 能耗救星！这个能倒着走的「可逆计算」芯片，将能耗直降10倍
最新研究提出可逆芯片，通过让计算「倒着走」，有望将AI能耗直降10倍。它基于热力学原理，避免删除数据以减少热量产生。经几十年探索，如今可逆计算或成延续计算进步关键。
微软等提出「模型链」新范式，与Transformer性能相当，扩展性灵活性更好
随着大语言模型发展，扩展 Transformer 架构成趋势，但参数规模增长带来训练负担。微软等研究者提出 CoR 概念，构建模型链学习范式，应用于语言模型得 CoLM 系列，实验显示其性能相当且扩展性、灵活性更好。
DeepSeek R1 迎来小更新大升级，性能直逼 OpenAI o3！
昨日，DeepSeek 发布 R1 大模型最新版本 DeepSeek - R1 - 0528 并开启公测。虽官方未附详细技术说明，但用户反馈推理和输出有改进，也有性能方面的不同看法，其在基准测试表现佳。
ETT：打破原生多模态学习视觉瓶颈，重塑视觉tokenizer优化范式
本文由多机构联合完成，针对传统视觉 tokenization 方法优化与下游任务训练割裂问题，提出 ETT 调优方法。它实现联合优化，在多模态理解、生成、重构任务表现出色，虽有局限但带来新突破。
DeepSeek用的GRPO有那么特别吗？万字长文分析四篇精品论文
文章解读 Kimi k1.5、OpenReasonerZero、DAPO 和 Dr. GRPO 四篇论文，分析 DeepSeek R1 里 GRPO 及改进算法。指出 GRPO 非特殊 RL 算法，当前 RL 算法实现相似，变革聚焦价值函数取舍等核心维度。
一场对话，我们细扒了下文心大模型背后的技术
信通院大模型推理能力评估中，文心X1 Turbo获最高级“4+级”。百度AI Day上，副总裁吴甜解析文心4.5 Turbo和文心X1 Turbo，从多模态、深度思考等方面介绍技术，还展示其在多场景应用成果。
CAI+DeepSeek渗透测试情况及扩展分析
文章对CAI+DeepSeek进行渗透测试。介绍CAI安装，在kali按Ubuntu指令装，使用界面友好。测试中CAI执行指令彻底灵活，扫描分析到位。还提及CAI多种能力，称其作为开源框架全面细致，值得研究。