「双预训练架构」共找到 3627 篇相关文章
Transformer祖传设计遭暴击，COLM顶会三篇论文发难
COLM 2026上，三篇论文对Transformer关键技术发难。《Cracks in the Foundation》指出长上下文架构选择影响大；《Lost in Backpropagation》揭示输出投影层信息损耗严重；《When Fewer Layers Break More Chains》表明层剪枝影响长链推理。
世界模型的DeepSeek时刻！魔芯Flash World Model降本70%，跑出50FPS实时交互
魔芯科技发布全球首个超高帧率交互式世界模型 MoWorld，无需高端 GPU，实现影视级画质、50 FPS 实时交互，降本 70%。其技术架构先进，产业化路径清晰，获过亿美元融资。
Mythos限测首日破防，论坛玩家猜网址就摸进门了
4月7日，Anthropic新模型Claude Mythos Preview限量发布，当天就有未授权用户猜出在线地址获得访问权限。Anthropic称未发现自身系统受影响，该模型对齐表现较好，但训练有技术错误。
动动嘴写SQL！Codex+终身记忆，OpenAI把查询难度直接归零
2026年初，OpenAI曝光数据分析智能体，将数据查询从「天数级」缩至「分钟级」。它用Codex驱动，有六层上下文架构，能补齐数据语义、沉淀经验记忆，让工程师提问取代手动查表。
2026 AI Memory最新综述：从理论到实战，一文读懂AI记忆的进化全景
2026年北邮百家AI MemoryOS团队联合华为发表《Survey on AI Memory》，涵盖AI记忆理论基础、分类体系、架构、评估方法与前沿趋势，还提出4W分类法，剖析了发展挑战与未来方向。
Nature发布Delphi-2M模型，提前20年预测你得什么病
2025年9月17日《自然》发表研究成果，欧洲、德国和丹麦科学家改造GPT架构，推出Delphi - 2M模型。它能预测1258种疾病及死亡风险，依据过往病史等提供风险概率，虽有局限但潜力大。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
We-Math 2.0：全新多模态数学推理数据集 × 首个综合数学知识体系
北京邮电大学、腾讯微信、清华大学团队提出We - Math 2.0，含知识体系、数据集及训练策略，可提升模型数学推理泛化能力。该成果在X上获关注，登Huggingface Paper日榜第一。
阿里开源 Vivid-VR！带来逼真连贯的视频修复
阿里开源 Vivid - VR 用于视频修复，基于 T2V 模型结合 ControlNet 保证画面一致性。它引入概念蒸馏训练策略，设计控制特征投影器和双分支 ControlNet 连接器，实验展现出优异表现。
马斯克删除xAI「研究员」职位引爆网络！LeCun怒批：如此暴力将扼杀创新
马斯克宣布取消xAI「研究员」头衔，强调「工程师」重要性，引发与LeCun的激烈争论。LeCun认为研究与工程在多方面有区别，混淆会扼杀创新，争论也反映出AI企业不同组织架构模式。