「预训练模型」共找到 8236 篇相关文章
英伟达成开源新王？Nemotron 3全新混合专家架构，推理效率升4倍
北京时间今天凌晨，英伟达发布 Nemotron 3 系列开放模型，含 Nano、Super 和 Ultra 三种规模。Nano 已上线 Hugging Face，采用混合 MoE 架构，推理效率提升显著。该系列还具备多种核心技术和实用能力，相关工具和数据集也已开源。
让GUI Agent不再「边做边忘」：快手、浙大提出MemGUI-Agent，攻克长程GUI任务
手机GUI Agent在长程任务中易遗忘关键信息，浙江大学APRIL实验室和快手主站技术部提出MemGUI - Agent，核心是ConAct，将上下文管理变为Agent动作，还开源MemGUI - 3K数据集，模型在评测基准取得佳绩。
首个测试时共进化合成框架TTCS：在「左右互搏」中突破推理瓶颈
厦门大学DeepLIT课题组提出全新测试时课程合成框架TTCS，不依赖外部标注，通过生成器与求解器共进化博弈合成课程数据，解决测试样本过难导致的训练坍塌问题，实验显示其推理能力提升显著。
Meta为他豪掷2亿美元，上交校友庞若鸣，晒出在苹果的最新论文
苹果基础模型团队负责人庞若鸣即将加入Meta，Meta为其开出2亿美金天价。7月9日庞若鸣宣传在苹果参与的研究《AXLearn: Modular Large Model Training on Heterogeneous Infrastructure》，介绍了AXLearn系统优势、架构、实验评估等。
2025 年 InfoQ 趋势报告：AI、ML 和数据工程
InfoQ AI ML 趋势报告基于编辑团队与嘉宾播客，总结 AI、ML 技术发展趋势。涵盖 AI 代理、多模态语言模型等创新领域，也提及早期采用者、早期多数、晚期多数类别的技术，还对 2025 年相关领域发展作出预测。
Anthropic最新论文：检测LLM内省意识的方法
Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。
第六章 Coding优先编的是「过程与约束」,不是「参数」
本章以开面包店类比训练大模型，介绍 AutoResearch 自主实验框架。它将研究生助理工作循环交给 Agent，在固定时间用单一指标判断好坏。仓库获约 64.7K Stars，Karpathy 设计哲学为极简主义与固定约束。
RSI离我们有多远？这家中国团队给出了第一梯队的工程解
目前行业探讨大模型的RSI时，常陷入思维定势。EvoMap团队没有盲目跟风，而是提出极具现实意义的工程新路径，构建自进化智能体，让经验在网络流转，还以硬核数据证明其体系有效性。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
MIT & Google | 提出异步并行生成新范式，LLM推理效率大幅提升！
MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。