「模型训练」共找到 8228 篇相关文章
Ilya重磅发声：Scaling时代终结！自曝不再感受AGI
Ilya在与主持人Dwarkesh Patel的深度访谈中爆出惊人观点，认为Scaling时代已终结，我们正走向研究时代。他指出当前技术路线后劲不足，模型泛化能力远逊人类，还探讨了AI发展的诸多关键问题。
2025 年 InfoQ 趋势报告：AI、ML 和数据工程
InfoQ AI ML 趋势报告基于编辑团队与嘉宾播客，总结 AI、ML 技术发展趋势。涵盖 AI 代理、多模态语言模型等创新领域，也提及早期采用者、早期多数、晚期多数类别的技术，还对 2025 年相关领域发展作出预测。
Anthropic最新论文：检测LLM内省意识的方法
Anthropic与MIT等研究表明，LLM能‘感知’被注入的steering vector，‘内省意识’在DPO等后训练阶段涌现。研究构建实验，发现内省能力行为稳健、检测非简单线性关联等，还揭示检测与识别机制不同及两阶段电路。
第六章 Coding优先编的是「过程与约束」,不是「参数」
本章以开面包店类比训练大模型，介绍 AutoResearch 自主实验框架。它将研究生助理工作循环交给 Agent，在固定时间用单一指标判断好坏。仓库获约 64.7K Stars，Karpathy 设计哲学为极简主义与固定约束。
RSI离我们有多远？这家中国团队给出了第一梯队的工程解
目前行业探讨大模型的RSI时，常陷入思维定势。EvoMap团队没有盲目跟风，而是提出极具现实意义的工程新路径，构建自进化智能体，让经验在网络流转，还以硬核数据证明其体系有效性。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
MIT & Google | 提出异步并行生成新范式，LLM推理效率大幅提升！
MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。
「边思考、边搜索、边写作」WebThinker开启AI搜索&研究新纪元！
大型推理模型有推理能力，但静态知识限制其在复杂任务表现。WebThinker 让 LRM 推理中自主搜索、导航及写报告，集成探索器，有自主策略和训练工具，实验显示性能强，还指明未来探索方向。
编程能力开源SOTA，网络安全提升2倍！智谱发布GLM-5.3
智谱发布GLM-5.3，743B参数模型，编程能力达开源SOTA。网络安全能力涌现，基准得分是GLM-5.2两倍多。全部提升来自后训练缩放，还自研Z.ai Code Bench评估，安全评估加固后权重将开源。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。