「直接偏好优化」共找到 1586 篇相关文章
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。
PDL 在 SGLang Kimi K3 中的应用
文章介绍 PDL 在 SGLang Kimi K3 中的应用，K3 内核优化接入 PDL 以缩短相邻内核间隙。分析 PDL 原理、在 bs=1 decode 中解决的问题，阐述计算链和通信链上的应用，还提及性能数据和实现问题。
Monet：赋予多模态大模型如人类一般的抽象视觉思考能力
文章介绍了Monet模型，它实现了训练MLLM直接在连续隐空间思考的方法，内化视觉思考能力。还阐述了多模态模型隐式推理训练的难点，提出SFT+RL训练框架，构建数据集，经测试，Monet提升了视觉推理能力。
ICLR发了Oral又反悔，理由是查到了制裁名单？
一篇被ICLR接受为Oral的论文，因作者在arXiv预印本提及工作部分在被美国制裁的RAIRI机构完成，遭ICLR无视审稿直接拒稿。网友将其与NeurIPS类似事件对比，还对作者是否“刻意隐瞒”有不同看法。
OCR 发生了一件反直觉的事
百度 PaddleOCR 团队的 500 万参数模型 PP - OCRv5，在文字识别准确率上可与 Qwen3 - VL、GPT - 4o 等巨无霸模型抗衡。团队挑战‘模型越大，效果越好’，认为 OCR 中数据质量比参数重要，通过实验证明并优化数据。
Datadog 如何将其 Agent 的 Go 二进制文件缩减 77%
5 年里 Datadog Agent 从 428 MiB 增至 1.22 GiB，其工程师着手缩减二进制文件大小。发现膨胀主因是隐藏依赖等，采取审计导入项等措施，借助工具优化，还减少反射和插件使用，6 个月实现缩减且未移除功能。
小鹏汽车：没有基座模型，何谈物理AI｜甲子光年
3月2日，小鹏汽车宣布第二代VLA正式推送。何小鹏认为，端到端小模型无法让自动驾驶从L2跨越到L4，而第二代VLA开创全新物理模型范式，能直接学习真实物理世界，还在不断迭代提升。
顶级视频模型半衰期只有 30 天，但生成式媒体 infra 公司的收入却在一年增长了 60 倍
文章聚焦生成式媒体 infra 公司 fal.ai，其借统一 API 和云端平台让开发者高效调用多模态模型。深入分析其成功因素，如早期押注生成式视频、优化算力和成本、构建生态等，还探讨用户使用模式与行业发展趋势。
千问接入淘宝、闪购、飞猪，意味着什么？
2026 年初千问升级，上线任务助理并接入淘宝、闪购等。其能处理常见任务，但更重要的是可解决用户衣食住行等实际问题，虽目前部分场景待优化，但阿里有优势，不过千问也面临体验、协同和商业化挑战。
TEN VAD 开源：低延迟、高准确率，提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。