「预训练研究」共找到 3695 篇相关文章
超 10 万人都在看！Qwen3重塑文本嵌入与重排序技术版图
文本嵌入和重排序是NLP和信息检索关键组件。Qwen3 Embedding、Qwen3 Rerank模型基于Qwen3基础模型构建，有三种参数尺寸。文章介绍其架构、训练方案，还给出实战代码。
姚顺雨提到的「AI下半场」，产品评估仍被误解
OpenAI研究员姚顺雨提出「AI下半场」重点转向定义问题，评估重要性超训练。亚马逊Eugene Yan发文补充，指出产品评估常被误解，应运用科学方法，践行评估驱动开发，自动化工具也需人工监督。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。
蒸馏效果起飞！DOPD破解「特权幻觉」，让在线策略蒸馏更有效
近期，新加坡国立大学等团队提出 DOPD 法解「特权幻觉」难题。该法依 token 情况动态蒸馏，实验表明其在 LLM、VLM 蒸馏效果好，鲁棒性强，训练稳定，为在线策略蒸馏提供新思路。
Agent = Model + Harness，一个可能成为2026年出圈的新概念
文章提出新概念Harnesses Engineering，认为Agent = Model + Harness，阐述了Harness的作用、核心组件，还提及模型训练与Harness设计的耦合及Harness工程未来，指出需‘Harness思维’让AI驱动工业革命。
AI五小时发现MoE新算法，比人类算法快5倍，成本狂降26%
加州大学伯克利分校团队提出ADRS系统研究方法，基于OpenEvolve框架优化算法。以EPLB算法为例，新算法比人类算法快5倍，成本降26%，且Nature也报道过AI创造新算法新闻。
EchoLeak-首个导致 M365 Copilot 数据泄露的零点击 AI 漏洞
Aim Security发现“EchoLeak”漏洞，利用RAG Copilot设计缺陷，攻击者无需特定用户行为就能窃取M365 Copilot上下文数据。文章详述攻击流程、利用方法，此研究在AI安全领域有多项突破。
拖拽视频编辑进入流式时代！任意时刻、任意内容，实时修改 | ICLR'26
新加坡南洋理工大学和合肥工业大学研究人员在ICLR 2026提出REVEL任务，打造免训练DragStream方法，实现视频生成时实时拖拽编辑，支持多种操作，破解两大难题，实验显示效果、泛化性佳。
Anthropic 官方：Genspark 是如何构建 Agents 的？
Genspark借助Claude打造自适应AI Agents，突破传统搜索工作流限制。其Super Agent以Claude为核心，实现动态协调，变革用户创造和研究方式，带来显著商业影响，揭示AI开发新原则。
Mythos逼谷歌再拉红色警报！布林连夜成立Coding突击队
Claude Mythos来势汹汹，谷歌拉响红色警报，布林和CTO成立Coding特攻队。团队重点提升模型复杂编程任务表现，还将内部代码纳入训练数据，且推动员工用编程工具。