「预训练研究」共找到 3696 篇相关文章
上下文工程比提示词工程好 10 倍，比 vibe 编码好 100 倍！Karpathy 站台，堪称「全新的氛围编码」。
Andrej Karpathy 提出「上下文工程」概念，Shopify CEO 更青睐它。研究显示开发者因 AI 幻觉和错误多，不信任其生成代码。上下文工程可成 AI 辅助开发核心技能，文中还介绍了相关开源项目及使用方法。
砍掉70%内存！陈丹琦团队破解LLM长文本瓶颈
大型语言模型处理长文本时，KV缓存占用内存巨大。陈丹琦团队提出KV足迹作评估标尺，推出分块驱逐与PruLong训练技术，在128K长文本任务中最高降低70%内存，性能损失仅10%。
The Batch：829 | DeepSeek 是怎么做到的
DeepSeek 去年末以低成本训练出先进开源大模型引关注，近日团队披露构建 DeepSeek - R1 和 DeepSeek - V3 的软硬件方案，降低内存和计算需求，其细节公布让更多团队有机会参与前沿研发。
最全面人类细胞图谱发布：110万个细胞看清调控与衰老
本文是对最新发表的Tabula Sapiens 2.0人类细胞图谱的专业解读，该图谱相比1.0细胞量翻倍至110余万个，覆盖28种组织，解析了细胞调控机制与细胞衰老特征，且完全开放供研究使用。
ACL 2026｜清华新作ControlAudio：声音何时响、说啥话？都能按剧本可控生成！
现有文生音频技术在精细化控制方面有挑战，清华团队提出ControlAudio方法。它通过数据构造、渐进式训练和引导采样，在统一框架下实现时间与语音内容联合建模，在多项任务上表现优于现有方法。
我烧了上亿token玩Clawdbot，结果发现国产平替更香，还免费。
作者花上亿token研究Clawdbot，发现其虽火但贵，Cowork也因收费和网络限制被盖过热度。作者转而探寻国内平替，介绍阿里云上线Moltbot云服务，重点推荐阿里QoderWork，测试后认为它是能打的免费平替。
我们对 Coding Agent 的评测，可能搞错了方向
用户对 Agent 不满常因它「做得不好」，不遵循指令和规范。当前主流评测体系以结果为导向，与真实场景错位。MiniMax 开源 OctoCodingBench 评测集，结果显示模型过程规范遵循不足，未来训练需引入过程监督。
CJA | 中国航天气动院冯亦葳、许亮等：符号回归启发的可压缩流场结构智能识别：基于局部对流特征分布的统一理论框架
目前流场结构识别方法有局限，传统经验法依赖阈值，深度学习法可解释性与泛化能力不足。本研究从流体控制方程出发，用符号回归建立统一流场结构分类框架，能准确识别复杂流动结构。
65岁LeCun被卷回巴黎老家！与小扎一刀两断，曝光神秘AI初创
65岁的图灵奖得主Yann LeCun年底将离开Meta创业，其新公司专注高级机器智能，教AI理解物理世界。他批评LLM触及天花板，是AI黑洞，多年来坚持世界模型研究，认为其才是通向真正智能之路。
Qwen3深夜开源新系列：文本表征模型，3种尺寸可选，超越商业API拿下SOTA
Qwen3深夜上新Embedding系列，专为文本表征等任务设计，在Qwen3基础模型上训练，有0.6B/4B/8B三种尺寸，8B版本在MTEB榜单排第一，性能超商业API，已在多平台开源。