「视觉语言预训练」共找到 3315 篇相关文章
开启端侧长文本时代！面壁全新架构，让小钢炮最快提升220倍
2025智源大会上，面壁智能发布MiniCPM 4.0模型，实现行业首个系统级上下文稀疏语言模型创新。它在端侧推理任务上表现出色，降低缓存需求，提高运行效能，还进行多维度架构创新，是AI领域探索高效率语言模型的里程碑。
只需一次指令微调，大模型变身全能专家天团，8B模型性能反超全微调基线 | ACL25 Oral
预训练大模型适应专业领域需高昂微调成本，稀疏混合专家架构虽能提升推理效率，但从头训练耗资源。浙大与Thomson Reuters团队提出SIMoE，单阶段微调就能升级大模型，还解决传统方法两大局限，在性能和效率上双突破。
苹果提出新型反向传播：一台iPhone 15 Pro Max就能微调LLM
苹果提出内存高效型反向传播（MeBP），可在内存使用量和计算时间上比零阶优化（ZO）有更好权衡，收敛更快、性能更优，还在iPhone 15 Pro Max验证其有效性，且公开了实现链接但目前为空。
刚刚！AI 圈顶流 Karpathy 三连击：开源、泼冷水、AI 教育~
10月，AI圈顶流Andrej Karpathy有三连动作：开源nanochat项目，100美元可复刻ChatGPT；发表AGI十年论，给行业泼冷水；推进Eureka教育项目，重构AI教育范式。
陶哲轩DeepMind梦幻联动，最强通用科学Agent来了！一口气解决芯片设计、矩阵乘法和300年几何难题
谷歌DeepMind与陶哲轩等打造的AlphaEvolve是LLM驱动的进化编码Agent。它能优化计算生态、调度数据中心等，还解决了数学难题，已在谷歌内部使用，现开启早期邀测试用。
OpenAI开源Privacy Filter：PII检测不用传服务器 Apache2.0可商用
OpenAI开源Privacy Filter模型，采用Apache2.0协议可免费商用。它是PII检测工具，支持全本地运行，避免数据泄露。有诸多技术亮点，也有一定局限性，上线后下载量可观。
姚顺雨现场颁奖，吉嘉铭、董冠霆等15位青年人才获腾讯「青云奖学金」
腾讯「青云奖学金」在深圳颁奖，首期选出 15 位获奖者，每人获 20 万现金和价值 30 万云异构算力资源。姚顺雨现身颁奖，获奖者有白雨石、陈俊松等青年 AI 学者，各有出色研究成果。
世界模型太慢？西交大提出Fast LeWorldModel：用「动作前缀并行预测」让动态估计加速4倍
视觉规划里世界模型‘想象’过程慢，西安交通大学研究团队提出Fast LeWorldModel，从根本改变预测方式，实验显示其提升了成功率，还大幅缩短规划时间。
ICLR 2026 Oral | 告别多步去噪！清华团队推出MVP，实现机器人动作单步极速生成
清华大学智能驾驶课题组 iDLab 与加州大学伯克利分校人工智能研究院 BAIR联合发表研究，提出 MVP 策略。它引入瞬时速度约束解决均值流学习问题，设计复合生成与选择机制，在多任务测试中表现出色。
Meta｜提出RECAP，通过动态目标重加权回放，解决RLVR遗忘【文末送书！Agent相关】
近年来，可验证奖励强化学习（RLVR）提升了大模型在多任务上的性能，但带来“能力退化”问题。Meta等提出RECAP策略，结合“回放”与“动态目标重加权”，保持模型通用能力，提升推理性能，还提高推理效率。