「LLM训练」共找到 2866 篇相关文章
100美元、8000行代码手搓ChatGPT，Karpathy最新开源项目爆火，一夜近5k star
AI大神Andrej Karpathy发布开源项目nanochat，可教你100美元自建ChatGPT，覆盖LLM训练和推理。项目有8000行代码，不到12小时获超4500 star，功能丰富，但他认为它不适合个性化应用。
刚刚，全球首个GB300巨兽救场！一年烧光70亿，OpenAI内斗GPU惨烈
为争夺有限GPU，OpenAI内部争斗激烈，2024年算力投入70亿美元仍不够。微软发布全球首台GB300超算专供OpenAI，可让万亿LLM数天训完。OpenAI建立资源分配机制应对挑战。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
短视频刷多了AI也会变蠢！“年度最令人不安的论文”
最新研究显示，大模型灌多垃圾内容会‘脑损伤’，研究人员用不同维度定义垃圾数据并训练模型，测试其核心能力，发现垃圾数据致认知下降，且损伤不可逆，还给出行业启发。
刚刚，Anthropic新作：大模型意识被发现了
Anthropic 最新研究发现 LLM 有可被语言化报告的全局工作空间（J - space），用 Jacobian Lens 技术能读出模型思考概念、干预推理，还可暴露其未说出口的意图，为 AI 安全审计提供新途径。
复旦提出自适应Reasoning方法ARM，“能屈能伸”
复旦提出自适应Reasoning方法ARM，解决LLM‘过思考’问题。ARM内置四种解题策略和三种决策模式，还搭配Ada - GRPO算法，在23个数据集测试中表现出色，省token、提速度且准确率高。
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
通义实验室新研究：大模型自己「扮演」搜索引擎，提升推理能力无需搜索API
阿里通义实验室开源ZeroSearch，提供无需与真实搜索引擎交互的强化学习框架。它用模拟搜索环境和渐进式抗噪训练，让LLM自给自足，节省API成本，在多问答数据集表现优，为智能化检索提供新思路。
Karpathy刚刚敲响警钟：大模型的“终极之战”打响！Agent大军即将全面接管研发
Andrej Karpathy发布新项目autoresearch，人改提示词，AI改训练代码。经约2天微调，找到约20个降低验证损失的修改，提升排行榜成绩。Agent还发现多项重要改进点，未来前沿LLM实验室或走此路。
微软 Agentic 组织：下一代 AI 系统
微软研究院提出全新推理范式AsyncThink，让LLM从单打独斗进化成带团队的项目经理。它把并发控制转为纯文本协议，经两阶段训练，实验中全方位碾压传统方法，还具跨领域泛化能力。