「长序列训练」共找到 2687 篇相关文章
提速30倍，Meta重新定义了新一代RAG！
LLM时代，RAG成知识密集型任务标准范式，但处理长上下文时面临延迟高、内存贵问题。Meta超级智能Lab针对RAG特殊结构优化，提出REFRAG框架，有独特训练策略，实验效果显著。
盛大AI研究院新作：流式生成超越非流式，一句话让虚拟人动作丝滑如真，推理延迟仅1帧
盛大AI研究院与东京大学联合提出FloodDiffusion，首个基于定制化扩散强制的流式人体动作生成框架。它能零延迟生成无限长动作序列，解决了现有方法的问题，在多数据集评估中表现优异。
最强3B「小钢炮」，代码数据全公开！推理随意开关，128k超长上下文
Hugging Face推出30亿参数模型SmolLM3，支持128k长上下文，训练等全链路开放。它在架构、数据混合策略等多方面优化，性能超Llama3.2 - 3B等，还公开双模式指令模型构建方案。
1.9K Star 微软开源TTS王炸！90分钟超长语音合成，4人对话自然切换！
在文本转语音（TTS）领域，生成长篇、多说话人的高质量音频一直是技术挑战。微软最新开源的VibeVoice TTS模型，可一次生成90分钟连续语音，支持4个不同说话人，还具备高效处理长序列等亮点特性。
SSM+扩散模型，竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。
首个时空时序推理框架：让大模型真正读懂时空数据 | ACL'26
STReasoner是首个结合时间序列、空间结构和自然语言的推理模型，能识别异常源、追踪影响路径。研究团队构建数据生成框架和评测基准，采用三阶段训练策略，模型在多任务表现优，成本低且泛化能力强。
Claude 4 核心成员访谈：提升 Agent 独立工作能力，强化模型长程任务能力是关键
Anthropic 两位研究员在采访中表示 2025 年强化学习在大语言模型训练奏效，如 Opus 4 能处理长周期任务。还探讨模型发展方向，如用户与多模型交互、模型可解释性等，认为未来会有白领 AI 员工。
AI Agent 距离真正替人「全自动办公」，还有多远？
Meta、微软和 xAI 被曝监视员工操作来训练 AI，原因是真实办公中 AI Agent 表现不佳。SaaS - Bench 评测显示顶级大模型表现糟糕，智能体存在长周期任务脆弱、跨应用错误放大等问题，未来 SaaS 软件或需为 Agent 重新设计。
清华开源首个股票k线大模型
清华开源首个股票K线大模型Kronos，是专为金融市场K线序列预训练的模型，处理金融数据高噪声特性。采用两阶段框架，有安装、预测步骤，还有批量预测方法，项目地址为https://github.com/shiyu-coder/Kronos。
张小珺采访了Kimi杨植麟，Agent泛化的临界点来了。
张小珺采访Kimi杨植麟，杨分享技术见解。如Scaling Law遇瓶颈，应提升Token效率；Adam与Muon对比，Muon学习效率高；模型公司下场做一方Agent产品，垂直整合模式上限高；还谈及长上下文、Agent训练及管理方式等问题。