搜索：上下文学习 - AI Reading Hub

「上下文学习」共找到 1964 篇相关文章

LightX2V Ulysses Attention 实现学习笔记

本文记录了LightX2V中Ulysses Attention的实现方式与张量形状推导。在多模态/视频场景，其实现可概括为一种layout变换，还提供`enable_head_parallel`和`use_fp8_comm`选项，效果受运行环境等因素影响。

面壁智能发布行业首个大规模训练的稀疏 - 线性注意力混合架构 SALA 及文本模型 MiniCPM - SALA。该架构降低推理开销与显存占用，MiniCPM - SALA 在长文本处理及推理上表现出色，还发起大奖赛探索性能极限。

文章实测了DeepSeek V3.1和V3，发现V3.1在编程、写作、翻译等方面有变化，如编程更全面、写作风格变文艺等。网友测试其在aider得分71.6%成非推理模型SOTA，但线上API有问题。

新智元报道，Nature子刊元分析汇总51项研究，揭示ChatGPT显著提升中小学生学业表现和高阶思维能力，不限学科和使用方式，还能减轻精神负担，但使用需家长和老师指导。

腾讯混元团队在 ACL 2026 Findings 发布的 ToolCPT 指出，Agent 用不好工具病根在预训练。它从真实代码挖工具，写说明书，融入预训练，实验显示能有效提升工具运用能力，但也有局限和成本。

作者体验了Google新出的Chrome DevTools MCP，它在小红书自动发帖、YouTube智能观看等场景表现出色。与Playwright对比，其Token消耗低、报错处理稳。还揭示设计思路差异，给出上车指南。

国内初创公司 MiniMax 提出 V-Triune 系统，可让 VLM 单一训练流程学视觉推理和感知任务。它含三个组件与动态 IoU 奖励机制，基于此的 Orsta 模型在多项测试中性能提升显著，凸显统一 RL 方法有效性和可扩展性。

本文深入解析sglang forward核心实现全流程，介绍了forward传递过程、AttentionBackend数据结构，以flashinfer为例展开分析，还说明了cudaGraphRunner初始化、Capture、Replay过程，助读者理解代码。

近期Harness Engineering讨论火热，Harness是围绕AI模型的支撑架构，Anthropic用其突破AI局限，解决AI完成复杂任务时的偷懒问题，还通过多智能体架构用于前端设计、软件开发，经实战检验效果良好，后续还对其进行简化。

图灵奖得主等提出AI智能体将迎「经验时代」，但训练面临挑战。Meta研究用「早期经验」范式解决问题，包含隐式世界建模和自我反思，提升了智能体任务成功率和泛化能力。