ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用RoPE的现代Transformer模型里，注意力机制Q和K表示有集中极大值，V表示无此模式。研究通过实验明确极大值与上下文知识理解的联系，对模型设计、优化和量化有重要启示。

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025新研究揭示，在使用旋转位置编码 (RoPE) 的现代Transformer模型中，注意力机制的查询 (Q) 和键 (K) 表示存在集中极大值，而值 (V) 表示无此模式。研究通过实验揭示其与上下文知识理解的关键联系。

OpenCode AI编程实践：利用推理路由低成本开发游戏

文章介绍用 OpenCode 结合 DigitalOcean 推理路由器开发点球大战游戏 PK Shootout。其按任务选模型，多数任务路由到 MiMo V2.5 和 GLM - 5.2，成本约 8.25 美元，远低于只用前沿模型。文中还分析开发各环节及适用场景。

杀疯了！单卡4090跑通全量微调，面壁1B级多模态性能怪兽硬刚大厂

面壁智能推出MiniCPM-V 4.6，参数约1B，性能和推理效率出色。它在多模态任务综合能力、推理速度上领先竞品，靠ViT架构改造和4倍/16倍混合视觉Token压缩实现创新，有工业验证，对开发者和普通用户意义大。

DeepSeek，Qwen，Grok组团发布，社区一手实测

LLM大爆发，一天内推出Grok 4.6、Qwen3.8 - Max、DeepSeek - V4 - Pro - 0813三款前沿产品。社区对它们进行多场景测试，如3D场景、Flappy游戏、飞机滑行动画等，并对比了不同模型的性能、价格和输出质量。

爆冷！首届大模型争霸，Grok 4下出「神之一手」？DeepSeek、Kimi惨遭淘汰

谷歌Kaggle举办首届全球AI象棋争霸赛，八款顶级语言模型正面对抗。首战8进4淘汰战中，Gemini 2.5 Pro、o4 - mini、Grok 4、o3晋级，Claude 4 Opus、DeepSeek R1、Gemini 2.5 Flash和Kimi K2出局。比赛考验AI整体理解能力。

n8n是开源工作流程自动化工具，提供直观界面创建自定义流程，支持超400应用集成。过去一年增长迅速，活跃用户超20万，ARR增长5倍，GitHub获77.5k star。介绍其创立背景、优势特点，用户评价褒贬不一，还提及与其他工具对比及“公平代码”理念。

500美元刷新SOTA！训练成本砍到1/200，华人团队重构视频生成范式

香港城市大学等团队发布图像 - 视频生成模型Pusa V1.0，在基础大模型上引入VTA机制，用3860对视频 - 文字数据、约500美元微调，在I2V超越Wan - I2V - 14B实现SOTA，还解锁零样本任务能力。

Kimi开源又放大招！20秒更新万亿参数的中间件来了

Kimi开源出新中间件checkpoint - engine，让Kimi K2万亿模型参数进入“秒更时代”。它能支持一次性发送更新权重，实现点对点动态更新，在K2中发挥重要作用，还可抵御单点故障。

R1一周年，DeepSeek Model 1悄然现身

2025年1月20日，DeepSeek发布DeepSeek - R1开启新开源LLM时代，其在Hugging Face获赞最多。一年后，DeepSeek新模型Model1在GitHub现身，经Gemini分析或为DeepSeek - V4，还给出相关技术细节。