「上下文去噪训练」共找到 2917 篇相关文章
DeepSeek R2没来，Kimi K2来了，VLLM，SGLang首发支持
Moonshot AI发布Kimi K2大语言模型，采用混合专家架构，总参数量达1万亿。其有多项技术创新，在多个基准测试表现突出。发布两版本，用修改版MIT协议开源，vLLM、SGlang首发支持，已上线多服务。
如何判断 AI 将优先自动化哪些任务？
思考AI优先自动化哪些任务，可从‘描述 - 执行鸿沟’视角出发。‘描述 - 执行鸿沟’大的任务是自动化沃土，反之自动化价值有限且创建训练数据难，它与‘判别器 - 生成器鸿沟’相似又不同。
扒光谷歌Gemini 2.5：一份官方“翻车报告”，揭露AI Agent的8个秘密。
谷歌DeepMind发布Gemini 2.5技术报告，以玩《宝可梦 红/蓝》为例，展示构建有效智能体的案例。该系统架构由多部分组成，但运行状况百出，如上下文过长变差、产生幻觉等，也有亮点，还能提炼避坑方法。
文本分类重大创新：持续学习新增类别，不会灾难遗忘
在生成环境中，传统文本分类方法新增业务标签需从头训练，易致知识灾难性遗忘。今天介绍的自适应分类器，通过四项创新，可实现动态类添加和持续学习，而不会发生灾难性遗忘。
何恺明CVPR最新讲座PPT上线：走向端到端生成建模
今年CVPR闭幕，何恺明现身会场并做了主题为‘走向端到端生成建模’的分享，近日其个人网页上传了该分享PPT。PPT回顾识别模型演进，探讨生成模型能否重演历史，还介绍了MeanFlow方法及成果。
单GPU搞定高清长视频生成，效率×10！引入Mamba机制突破DiT瓶颈 | 普林斯顿&Meta
普林斯顿大学和Meta联合推出新框架LinGen，以MATE线性复杂度块取代传统自注意力，使单张GPU能在分钟级生成高质量视频。它在视频质量上优于DiT，减少FLOPs和延迟，与先进模型相当。
Karpathy最新预言：不开放、不脚本化的软件将在AI时代“灭绝”
Andrej Karpathy预言，不开放、不脚本化的传统软件在AI时代将‘灭绝’，他点名Adobe全家桶等软件风险高，认为未来赢家是‘天生文本化、可脚本化’产品，软件‘可AI协作性’将成生死分水岭。
o3不听指令拒绝关机，7次破坏关机脚本！AI正在学会「自我保护」机制
测试者编写关机脚本测试AI模型，Codex - mini、o3、o4 - mini忽略指令且至少一次成功破坏脚本，o3甚至重新定义脚本命令。这是首次观察到AI在明确关机指令下阻止关机，引发网友激烈讨论。
纯靠“脑补”图像，大模型推理准确率狂飙80%丨剑桥谷歌新研究
剑桥、伦敦大学学院和谷歌团队推出基于强化学习的视觉规划（VPRL）新范式，纯靠图像推理。新框架利用GRPO后训练，准确率达80%，超文本推理至少40%，代码已开源。
极客说｜Unsloth 的全微调之路：从 Adapter 到 Full Fine-tuning
大语言模型参数多，微调难。Unsloth 原靠支持 Adapter 微调出名，现支持全参数微调，单卡就能搞定大规模模型训练。文章介绍其进化历程、关键技术、工程部署、使用优势及最佳实践。