搜索：几何上下文注意力

「几何上下文注意力」共找到 899 篇相关文章

从 0 到 25 万行：一个 100% AI 编码项目，真正难的不是生成，而是治理

作者分享 Routa 项目用 AI 驱动开发的经验，指出 100% AI 编码项目真正难的是治理。介绍多个工具参与情况，阐述项目长出反馈系统的过程，包括规则入口、上下文收敛、提交前约束及仓库级裁决等。

全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。

文章围绕OpenClaw类自主智能体生态展开，从生态视角、记忆系统、上下文管理等多方面阐述其构建，还分析了安全风险、治理体系、角色分工及面临的挑战与机会，为理解和发展Agent生态提供参考。

作者分享将 Agent 工程化设计的历程。指出 LLM 做 Agent 有痛点，引入 CLI 接管确定性任务和上下文管理，还设计了 Workflow 串联工具，实现自动扩展和无缝互转，最后做 workflow - creator 形成自洽闭环。

北京大学、清华等联合提出统一引擎PAM，能整合姿态、外观和运动。用户提供初始和目标姿态及物体几何形状，它就能生成逼真手物交互视频。其效果超现有方法，合成视频可用于数据增强。

合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。

腾讯混元团队推出CL - Bench Life，用于精准衡量AI在现实生活中的“上下文学习”能力。测试12个语言模型，结果显示模型处理高噪声零碎context能力不足，揭示当前顶尖AI模型还远未读懂日常。

大型语言模型在专业领域表现不佳，传统微调方法成本高、易过拟合。腾讯优图实验室提出Training - Free GRPO，无需更新参数，通过上下文学习提升性能，成本低且泛化性好，是传统强化学习有力替代。