「预训练时代」共找到 3275 篇相关文章
杨植麟回复：Kimi K2训练用的H800！但“只花了460万美元”嘛…
月之暗面团队回应Kimi K2 Thinking训练成本，透露用英伟达H800，GPU少但利用充分。该模型凭实力与低成本引迁移潮，还引发对闭源巨头估值反思。技术上有优化创新，团队还公开答疑。
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
SGLang团队联合slime团队开源实现100%可复现的稳定RL训练框架。基于Qwen3 - 8B重复实验结果完美重合。SGLang在批次不变算子基础上实现确定性推理，性能有下降但有提升空间，还给出使用方法和未来规划。
AI硬件闭门探讨：未来硬件只是数据的入口，接下来是「软件定义硬件」的时代
文章围绕AI硬件展开探讨，介绍了如Plaud录音卡片、智能眼镜等产品现状。指出多数用户对当下AI硬件不满，市场尚处早期。分析不同产品成功因素、竞争压力，还提及情感陪伴类产品问题，强调未来是「软件定义硬件」时代。
突破显存瓶颈：基于 DeepSeek-V3.2-Exp 的 Latent Cache 卸载预取方案设计与模拟验证
百度百舸AIAK团队针对DeepSeek-V3.2-Exp，设计基于Latent Cache的卸载预取方案ESS。该方案解决显存瓶颈，提升Decode吞吐并降低成本，经模拟验证效果显著，未来将拓展应用。
大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”
近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。
超越Claude 3.5和o1！8B模型靠「分层投票+测试时训练」逆袭
近日MIT研究者发现测试时训练在大模型应对复杂推理问题时，能分解任务提升回答准确率。8B的lemma3模型经此方法，在ARC和BBH数据集上性能显著提升，超Claude 3.5等。但该策略部署效率低。
微软开源Skill训练框架，让Agent白天干活，晚上自动复盘，Skill的自进化终于可监控了
微软开源SkillOpt v0.2.0，加入SkillOpt - Sleep让Agent可自我复盘。该文本空间优化框架能自动训练和优化skill，有透明化、质量控制等特点，适合重复、可评估任务场景。
YOLO12改进引入DINOv3少样本目标检测精度飙升，分享训练自定义数据集代码
Meta 人工智能研究院的 DINOv3 是基于自监督学习的视觉大模型，解决诸多问题且无需微调，在多任务表现出色。将其引入 YOLO12 后，在不同规模数据集上检测性能显著提升，还分享训练自定义数据集代码。
旅行 AI 告别只会做规划的平庸时代，飞猪帮帮决定让 Agent 做履约
8月10日，飞猪推出新一代旅行AI“飞猪帮帮”，能力覆盖旅行全生命周期。它将用户需求分为“帮我想、帮我订、帮我办”，利用Qwen模型后训练，结合多种校验手段，让AI从提供信息到进入履约环节。
比传统方法强7倍：Anthropic物理隔离危险知识，重塑大模型安全训练范式
Anthropic团队提出选择性梯度掩码技术（SGTM），在训练阶段将危险知识物理隔离到特定参数并剔除，实现安全性与通用能力更好平衡，抗恢复性是传统方法7倍，还能处理未标记危险数据。