「几何上下文注意力」共找到 899 篇相关文章
8种LLM架构设计大比拼：从 DeepSeek-V3 到 Kimi K2，究竟有啥不同
文章对比了8种LLM架构设计，如DeepSeek-V3、OLMo 2等。介绍各模型关键技术，像DeepSeek-V3的多头潜在注意力和混合专家架构，还分析不同设计对性能、效率的影响，助读者了解LLM架构差异。
实测最新开源的DeepSeek-OCR后，我有些不一样的看法，有些话可能只有我敢说
实测最新开源的DeepSeek - OCR，它并非传统OCR，不适用于传统场景。其最大意义是解决大模型上下文长度问题，通过文字图片压缩解压提高处理速度。模型功能多样，是让AI看图思考的新思路。
长文本生成迎来新突破：拓元智慧推出 DrDiff ，实现效率与质量双提升
拓元智慧联合多团队开发出 DrDiff 框架，解决长文本生成中效率与质量难兼顾问题。其核心是“动态化”，有分层稀疏注意力、动态专家调度、语义锚点状态三个创新组件，经测试表现良好，未来应用值得期待。
当ChatGPT也开始逐渐成为微信的模样。
OpenAI Blog提出目标是帮用户更好使用注意力，衡量标准是用户是否解决问题后离开，这与张小龙提出的微信“用完即走”理念相似。微信曾在流量时代坚持此理念，如今也面临桥与巢的矛盾。
《TAML》好文推荐 | 来自清华大学张宇飞团队最新研究成果 基于文本生成翼型：FoilCLIP,一种语言驱动的气动设计新框架
传统翼型设计依赖CFD和风洞试验，成本高。清华大学张宇飞团队提出端到端双向映射框架FoilCLIP，通过对比学习建立文本与翼型几何双向映射，还提出数据增强策略，验证了其在语言驱动设计中的应用潜力。
Claude Opus 5深夜发布，以一半价格逼近Fable 5。
周六凌晨Claude Opus 5全量上线，在所有Claude产品里可用。它有100万上下文，知识最新到2026年5月。跑分显示其在很多领域逼近Fable 5，价格仅为一半。它和Fable 5各有优势，还带来Claude Code使用的变化。
AgentScope 正式发布 Skills 支持 - 实现渐进式披露
文章指出大语言模型驱动的Agent系统存在核心矛盾，常见上下文加载方案有局限，缺乏灵活机制。介绍了AgentScope发布的Skill机制及渐进式披露策略，还讲了其在Java中的实现，最后分析了适用与不适用场景。
VerseCrafter：给视频世界模型装上4D方向盘，精准运镜控物
复旦大学与腾讯等机构提出VerseCrafter，这是通过显式4D几何控制实现的动态逼真视频世界模型，能精准控镜和指挥物体3D运动。它用独特方法构建4D可控世界模型，实验超现有SOTA方法，代码与模型已开源。
不吹不黑，GPT-5代码能力究竟怎么样？跟 Gemini 和 Claude 的对比测试给你答案
作者测试了 GPT-5 的代码能力，并与 Gemini 和 Claude 对比。在不同代码任务中，各模型表现不同。如在生成网页任务里，GPT-5 部分结果不错，但受 32K 上下文限制，长文本处理不如 Gemini，硬实力也不如 Claude。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。