搜索：长上下文建模

「长上下文建模」共找到 1389 篇相关文章

1.1K Star！告别单打独斗！让 AI 自己组建开发团队，自动分工、沟通、合并成果！

当前单个AI Agent编程有局限，遇到复杂项目力不从心。开源项目ClawTeam-OpenClaw是多智能体群智协作框架，让AI团队协作，解决了单个AI上下文窗口有限等问题，还具备自组织、工作区隔离等亮点。

文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。

DeepSeek官宣网页版、APP更新，支持100k token上下文，但更新后性格变冷淡引争议。官方称是效率优先和边界意识所致。此外，传言V4将发布，编程实力或超Claude、ChatGPT等。

亚马逊机器人团队FAR发布人形机器人研究成果OmniRetarget，它能让强化学习策略在复杂环境学技能并零样本迁移。该成果通过交互网格建模关系，经实验验证优势明显，背后团队由华人学者领衔。

Mila唐建团队发表PerturbDiff，跳出前人认知盲区，将“细胞群体的概率分布”视为随机变量。它引入数学工具建模，让MMD内生于体系，在多项基准测试霸榜，还提供应对数据稀缺的思路。

硅谷Claude Cowork出圈后，国产昆仑万维Skywork桌面版登场。它支持模型自由切换、海量Skills集成，实测任务完成率高、速度快、有自纠错机制，依托上下文能力升级，是国产AI创新力量的展示。

OpenAI今晚1点举办直播，GPT - 5将亮相。发布前关键信息汇总，包括直播时长变长、GitHub泄露四个版本、三档定价策略、突破人类基准测试等，还或同步发布Sora 2。

最近「上下文工程」很火，Andrej Karpathy 为其打 Call。它和「提示词工程」不同，是构建自动化系统给模型提供输入。文章介绍了其核心要素、实践方法论，还给出了参考的博客和视频。

Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。

作者开源了名为洁癖.Skill的工具，它能在Agent完成功能或解决BUG后，自动审查项目文档体系和记忆文件并迭代，适用于Claude Code、Codex等四个平台，解决上下文混乱问题，让Agent越用越聪明。