「灾难性过度训练」共找到 2218 篇相关文章
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
港科联合港中文提出AdaCtrl，自适应可控Reasoning，可降10~90%
港科联合港中文提出AdaCtrl，解决LLM推理的过度思考、算力浪费和响应延迟问题。它有自适应和用户控制两种模式，通过两阶段训练法实现目标，实验效果好，未来或拓展到多领域。
大模型幻觉的源头找到了！清华团队锁定大模型宁愿说谎也要讨好人类的神经元
清华大学研究团队深度解剖大语言模型微观机制，确认幻觉关联神经元存在，揭示其与过度服从行为相关。通过干预神经元激活状态可增减模型幻觉行为，为开发可靠 AI 系统提供靶点。
LLM又曝致命缺陷：根本不会看时钟！博士惊呆，准确率不及50%
最新研究揭示AI存在认知缺陷，读取时钟准确率仅38.7%，判断日历日期准确率26.3%。研究者构建测试集考察MLLM能力，虽部分模型有亮点，但整体表现不佳，凸显训练数据和推理方式改进需求。
Transformer已死？DeepMind正在押注另一条AGI路线
谷歌团队借鉴人类联想记忆，提出嵌套学习，解决AI「灾难性遗忘」问题。强调优化器与架构协同进化，构建联想记忆系统。HOPE架构在多任务表现出色，或开启AI从被动训练到主动进化大门。
LLM「拒绝回答」难题有救了！最新研究让AI学会人情世故 | COLM'25
最新研究发现模型规模和通用语言能力与处理敏感内容判断能力无直接关联，开源模型表现不错。通过提出的训练方法，在非推理和推理型模型上缓解过度拒绝问题，提升AI实用性和可靠性。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
通义实验室最新成果WebDancer：开启自主智能Deep Research的新时代
通义实验室推出 WebDancer，解决自主信息检索智能体构建难题。它创新合成训练数据，采用两阶段训练策略应对开放网络训练挑战，在多个基准测试中表现卓越，未来还将拓展能力。
字节清华智能体自动写CUDA内核，比torch.compile加速2.11倍
字节Seed与清华AIR团队开源CUDA Agent，在GPU内核优化基准KernelBench上成绩优异。它是大规模智能体强化学习系统，训练数据经多阶段构建，分阶段训练，全面超越商业模型，还开源了训练数据集。
Cursor Composer 2.5 拆解：最强大的 RL 环境，就是你自己的产品
今年5月，Cursor推出Agentic编程模型Composer 2.5，相比前代能力更强、成本效率更高。Cursor研究负责人认为最强大的RL环境就是自己的产品，文中还介绍了Composer 2.5训练方式、面临的挑战及解决办法等。