「简单持续预训练」共找到 2890 篇相关文章
彻底改写Transformer！「能量驱动架构」横空出世，通用推理时代要来了？
UIUC、斯坦福与哈佛联合提出全新「能量驱动Transformer（EBT）」架构，打破「前馈即推理」旧范式，以能量最小化模拟人类思维，训练更高效、推理更精准，在多方面超越传统Transformer。
RAG创新了，MCompassRAG装上了语义指南针
RAG系统存在chunk切分难题，现有方案有额外成本。MCompassRAG不切细、不rerank，给粗chunk加主题元数据当指南针，训练推理分离，实验显示信息效率提升、延迟降低。
Anthropic 研究发现：仅需少量污染文档即可对 LLM 实施投毒
Anthropic的Alignment Science团队研究大语言模型训练投毒攻击，实验发现仅250条恶意样本就能植入“后门”，且模型越大攻击越易，还对微调数据集实验，引发讨论。
6K星 Qwen围绕Web AI，打造Agent Search新生态
自Manus带火深度研究代理后，新兴方向面临多模态代理推理能力不足等问题。千问2025年推出系列工具完成web智能搜索生态闭合，本文分享WebWatcher训练及解决问题的方法。
Claude一天3崩！API、App、Cowork全挂，打工人集体抓瞎
8月24日Claude一天崩三次，Anthropic状态页三次变红又宣布恢复，但用户仍打不开。故障从中午持续到下午，波及多个产品。8月故障频发，还存在算力枯竭、模型变笨等问题。
算不上AGI，但Anthropic发现了Claude的潜意识！
Anthropic可解释性团队新论文在Claude内找到“意识”与“潜意识”分水岭。用J - lens读取模型“想法”，经五组实验验证其类似人类“意识通达”结构，还涉及安全审计、反事实反思训练等内容。
这个Skill太香了！Karpathy说的AI写代码的毛病，直接治好
GitHub上的开源Skill andrej - karpathy - skills受Karpathy启发，能解决AI写代码的毛病。它将Karpathy洞察提炼成四条原则改造AI Agent行为，安装简单，可自定义，能约束Agent，让开发者关注关键判断。
Sand.ai重磅更新MagiAttention，正在定义分布式Attention性能新标杆
2025年4月，Sand.ai开源MagiAttention v1.0.0。如今发布v1.1.0，适配Blackwell新架构，构建原生Group Collective原语，经系统级协同优化，在多模型训练中得到实证，展现卓越性能。
五源投资人笔记：Agent 是新生命，它今天很饿｜5Y View
五源投资人石允丰认为，Agent是新生命，以OpenClaw为例，它持续运行，有心跳、记忆等特征且消耗大量token。这引发AI市场“双链分裂”，代谢链潜力大，还带来可靠性、编排等投资机会。
Cloudflare 选择 PostgreSQL 扩展而不是专用的 OLAP 来进行 100K 行 / 秒的分析
Cloudflare工程团队解释选TimescaleDB而非ClickHouse为内部平台增分析报告功能的原因，强调存储分析与配置数据简单性和专用OLAP系统性能的“惊人平衡”，介绍了项目发展及TimescaleDB优势。