「预训练时代」共找到 3275 篇相关文章
清华团队预言：90%的人将脱离谋生劳动，「零人公司」时代来了！
清华沈阳团队基于研究与实践提出四大颠覆判断，如AI走向「人机隔离」、未来公司只剩一人或零人等。团队在模型训练、微调等多方面有成果，还探讨行业应用、知识范式颠覆等，描绘AI发展图景。
链式思维是幻象吗？从数据分布视角重新审视大模型推理，马斯克回复，Grok破防
亚利桑那州立大学研究发现，思维链（CoT）推理可能只是对训练数据分布内模式的复现，输入与训练数据分布有差异时，推理链条会失效。研究探究了CoT泛化性等问题，对实际应用提出警示。
演讲 | 强化学习之父 Sutton 隔空回应 Hinton：目前的 AI “理解不足，调参有余”
强化学习之父 Rich Sutton 在 UCLA 演讲《AI 的未来》，指出当下 AI“理解不足，调参有余”，是“脆弱的心智”。他定义智能，倡导建立统一心智科学，认为应从“人类数据时代”进入“经验时代”，还谈及 AI 政治与哲学。
OpenAI 迈出关键一步：LLM 黑盒不再是盲盒
OpenAI开源新研究成果，提出全新范式，训练权重稀疏的Transformer模型以提取人类可理解的电路。该方法分三步，关键结果显示稀疏模型优势多，但也存在训练成本高、规模有限等局限，还给出两条未来路线。
微软×UIUC：给每个学生造一个「数字分身」，AI教师终于有了陪练
微软和 UIUC 合作研究 StudentSim，基于真实学生数据训练个性化学生模拟器框架，解决了过去学生建模方法的问题。它经两阶段训练，在多领域实验中表现出色，还能为 AI 教师优化提供反馈。
无需训练，即插即用，2倍GPU端到端推理加速——视频扩散模型加速方法DraftAttention
高质量视频生成任务中，扩散模型成主流，但DiT模型注意力机制计算量大，成推理瓶颈。现有加速法效果不佳，为此美国东北大学等团队提出DraftAttention，可2倍加速推理且不损画质。
互联网已死，Agent 永生
文章指出互联网时代诸多概念如DAU、SaaS等已过时，因旧前提‘人是软件用户’改变，新前提是‘Agent是软件新主人’。还阐述Agent时代四块基石，如Token是特权、Agent是人口红利等，强调新旧世界差异大。
4人团队，连做两款AI教育爆款，AI时代小团队创业取胜指南
Oleve是仅4人AI创业公司，年化收入达600万美元。旗下Quizard和Unstuck AI成爆款。其成功在于技术敏锐，用OpenAI Codex起步；有“精益增长”策略；且实现流程全面自动化，为小团队创业提供样本。
吴恩达新作：87%推理token用不着，丢掉反而快3倍
吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。