搜索：长上下文窗口

「长上下文窗口」共找到 1220 篇相关文章

重磅！Meta开源通用神经输入系统！人人可用的非侵入式手环登场

Meta开源通用神经输入系统，用基于手腕的输入技术结合上下文感知AI带来新交互体验。关键技术EMG可读取大脑电信号，将其转成数字命令，系统表现优秀，为“隐形”人机交互奠基。

文章指出Transformer对词顺序不敏感，引出位置嵌入概念。介绍经典的函数编码、可学习位置嵌入法及新主流RoPE，还提及为让模型处理长文本，在RoPE基础上用PI和YaRN等扩窗技巧。

深度学习中，扩散模型能生成新图像且抗过拟合。巴黎高师和博科尼大学研究团队论文指出，这源于隐含的动力学正则化，训练分两阶段，数据量增加会拉开‘泛化窗口’，还给出数学解释。

DeepSeek官宣网页版、APP更新，支持100k token上下文，但更新后性格变冷淡引争议。官方称是效率优先和边界意识所致。此外，传言V4将发布，编程实力或超Claude、ChatGPT等。

硅谷Claude Cowork出圈后，国产昆仑万维Skywork桌面版登场。它支持模型自由切换、海量Skills集成，实测任务完成率高、速度快、有自纠错机制，依托上下文能力升级，是国产AI创新力量的展示。

OpenAI今晚1点举办直播，GPT - 5将亮相。发布前关键信息汇总，包括直播时长变长、GitHub泄露四个版本、三档定价策略、突破人类基准测试等，还或同步发布Sora 2。

最近「上下文工程」很火，Andrej Karpathy 为其打 Call。它和「提示词工程」不同，是构建自动化系统给模型提供输入。文章介绍了其核心要素、实践方法论，还给出了参考的博客和视频。

Multi Agent应用有望成大模型应用范式，但Cognition AI团队认为2025年追求多智能体并行协作架构是歧途，存在信息孤岛和决策冲突问题。主张采用单线程线性架构与上下文工程。

作者开源了名为洁癖.Skill的工具，它能在Agent完成功能或解决BUG后，自动审查项目文档体系和记忆文件并迭代，适用于Claude Code、Codex等四个平台，解决上下文混乱问题，让Agent越用越聪明。

Meta Superintelligence Labs提出REFRAG高效解码框架，解决LLM长上下文输入效率瓶颈。它通过四步流程优化解码，让首个token生成时间加速达30.8倍，扩展上下文，且精度不降反升，不过价值待实际检验。