「长序列训练」共找到 2701 篇相关文章
微软 & UT Dallas 联手揭秘：从 SFT 到 RL 的进阶之路
微软与 UT Dallas 合作论文揭秘大模型做漏洞检测从 SFT 到 RL 的后训练流程，构建 C/C++ 漏洞数据集跑通全流程，总结六大‘避坑’指南，还开源整套框架、数据集和模型。
对话蚂蚁灵波首席科学家沈宇军：2万小时真机数据，用“慢功夫”做具身智能｜甲子光年
蚂蚁灵波首席科学家沈宇军接受专访，称具身智能处于‘GPT - 1时刻’。团队选‘慢’路，积累2万小时真机数据，发布四个具身智能模型并开源。介绍模型架构、优势、问题及未来计划，还谈了开源考量等内容。
我如何用 Codex 在 5 天内"找回"丢失的源代码
作者早年写的 Electron 画图程序源码丢失，只剩编译版本。受 OpenAI 博客启发，用 Codex 逆向还原，5 天得到能运行的 TypeScript 代码。过程中解决了 Codex 删减内容、上下文有限等问题，还分享了经验。
大模型的第一性原理：（二）信号处理篇
本文从信号处理角度解读大模型原论文，探讨语义向量化原理，分析 Transformer 与 Granger 因果关系。指出大模型输入 Token 语义嵌入是将自然语言处理转化为信号处理问题，向量化与信号处理、信息论联系紧密。
解决算力瓶颈，给多模态瘦身！Token压缩完整图谱与选型指南
给多模态大模型瘦身是解决算力瓶颈的关键。Token压缩技术可剔除视觉冗余，提升训练与推理效率。北大等团队剖析其全貌，给出完整图谱与选型指南，还揭示了未来演进路径。
红杉对话 LangChain 创始人：2026 年 AI 告别对话框，步入 Long-Horizon Agents 元年
红杉访谈 LangChain 创始人 Harrison Chase，探讨 Long-Horizon Agents。其认为 2026 年是 Doers 元年，这类 Agent 能处理长时程任务。还提及 Harness 架构、Coding Agent 等，指出 Memory 是壁垒，交互需同步与异步结合。
多模态大模型中Attention机制暗藏「骗局」，需用一个公式修正丨上大×南开
上海大学曾丹团队研究发现，主流VLM中attention受位置偏置和padding区域异常高attention影响，直接用其进行视觉token剪枝会丢失关键信息。团队用公式对attention去偏，集成到多种剪枝方法，提升了模型性能。
GPT-5.3爆更前夜，全网都被一张图吓到！ChatGPT人格大赏
OpenAI华人研究员Joanne Jang一条推文引发ChatGPT生图玩法热潮，它能根据聊天记录生成反映‘待遇’的自画像。近期ChatGPT记忆功能优化，已向全球Pro和Plus用户推出。还有爆料称GPT - 5.3要来了。
世界最强医疗模型百川M3发布：AI医疗，奇点已至
百川智能发布并开源全球最强医疗模型Baichuan - M3，各项指标SOTA且超越人类医生平均水平。它告别机械‘背医书’，学会主动追问、排查病因，解决AI‘胡说八道’问题，准确度超GPT - 5.2 - High。
大模型最难的AI Infra，用Vibe Coding搞定
Andrej Karpathy 力荐的 Vibe Coding 在 AI Infra 开发中常「水土不服」，存在上下文丢失、决策偏离、质量不稳定等问题。文章提出文本驱动的 Vibe Coding 方法，并以 Agentic RL 中的资源调度系统为例验证其有效性，还介绍了相关团队和工具。