搜索：Kimi Delta 注意力

「Kimi Delta 注意力」共找到 377 篇相关文章

用Claude Code搭建工作流

作者原本考虑用n8n搭建工作流，现认为Claude Code的Sub - agents和自定义命令功能搭配MCP工具可满足需求。通过示例演示其工作流搭建，还测试换Kimi K2模型，显示其质量更好。

全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。

合肥工业大学团队提出大模型存在‘隐藏的真伪认知’，论文让模型用此给推理‘打分’，过滤错误推理链。通过多层注意力头探测、构建预测器和新推理扩展策略，提升了推理链稳定性，实验效果优异。

文章围绕deepseek V4技术报告展开，指出当前大模型训练不充分，介绍了算法层面如混合注意力机制、模型结构优化、优化器等，工程层面如细粒度专家并行、算子内核开发等，以及后训练的范式转变和领域专家网络蒸馏等内容。

AI研究圈争论RL能否赋予模型超越基础模型的推理能力。UC Berkeley等团队提出DELTA框架，观察到“RL grokking”现象，还设计新任务验证，提出两阶段奖励调度，总结两种模式等，为争论带来新依据。

北大、北邮和华为研究提出纯卷积扩散模型 DiC，抛弃自注意力机制回归 3x3 卷积。它性能超 DiT，推理速度快 5 倍，证明精心设计的卷积网络在生成任务中也能表现卓越。

近期，网络出现“无限流”视频，源于MiniMax H3。OpenVDN团队开源Video Delta Net（VDN），基于MiniMax H3使视频生成速度提升75到90倍，14.4秒的768p视频11.23秒就能生成。它采用混合思路，性能提升显著。

在AI热词不断涌现的时代，斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合，创造全新「视频世界模型」。它用状态空间模型实现长期记忆，还设置局部注意力机制，训练和推理表现出色。

中科院自动化所等团队提出VHR方案，通过“视觉神经增强”机制放大模型视觉关键注意力头输出，降低幻觉现象。此前主流方法多作用于最终输出阶段，VHR深入干预内部机制，还介绍了SSL语义引导方法。

Openclaw在GitHub上Star数近13万，登上多榜单TOP1。作者介绍用GitHub Codespaces零成本搭建其服务，搭配Kimi K2.5模型和Discord应用，还给出部署步骤、常见问题解决办法及功能演示。