搜索：Kimi Delta 注意力

「Kimi Delta 注意力」共找到 377 篇相关文章

大模型是否对问题难度有预判？最新研究揭示 LLM 内部的“难度感知机制”

近期论文《Probing the Difficulty Perception Mechanism of Large Language Models》系统性解答大模型能否感知问题难度等问题。研究基于数据集在主流 LLM 上训练轻量线性探针，定位负责难度感知的注意力头，还发现不同模型表现有差异。

多数基于Transformer架构的模型处理多视图输入有可扩展性问题，成均馆大学、延世大学研究人员提出创新3D重建模型iLRM。它通过迭代细化机制生成3D高斯表示，有独特架构设计和高效注意力机制。

全球AI代码生成竞争格局生变，Anthropic地位动摇，一是OpenAI GPT - 5崛起，二是自身迷之操作。此时国产大模型发力，如Kimi - K2 - 0905、Qwen3 - Max - Preview，性能和价格有优势，有望改变竞争格局。

图像处理中‘图像morphing’常见又有创意，但以往技术有训练复杂等问题。南洋理工大学等团队提出FreeMorph方法，无需训练实现图像变形，通过改进注意力机制解决特征丢失和过渡不连贯问题，实验效果佳。

月之暗面发布并开源 Kimi K2.6 模型，热度高。它强化 Agent 团队协作能力，核心能力进步，领先对手。在编程领域发力，长程编码能力突破，集群协同输出强，还适配框架，实测效果出色，Claw 群组开启内测。

本文作者池建强参与阶跃星辰新一代旗舰大模型Step 5 Preview小范围内测，设置带两层bug和隐藏需求的编码工程题，与Qwen 3.8 Max、Kimi K3对比测试，分享实际项目使用体验，给出客观评测。

几千人盲投中，Kimi K2超越DeepSeek成全球开源第一，总榜第五紧追顶尖闭源模型。虽有人质疑其采用DeepSeek V3架构，但团队称有参数调整。当下开源模型崛起，正打破性能弱的刻板印象。

4月20日深夜Kimi K2.6发布并开源，作者借Andrej Karpathy的AI Wiki思路设计高承压任务，测试其Agent底层能力，考察它在单Agent、Agent网站和Agent Swarm三种模式下表现，探究国产AI真实水平。

大型语言模型能通过上下文学习（ICL）在推理时即时学习新任务，无需修改模型参数。本文首次证明自注意力层与MLP层组合能隐式将上下文信息转为MLP层低秩权重更新，解释了ICL原理，为构建AI系统开辟新路径。

Kimi K2.5上新，集视觉理解、代码生成等能力于一体，提供四种使用模式，其中Agent集群模式提效显著。实测显示其网页生成、动效理解能力出色，下一代K3模型或用新架构KDA降低计算成本。