「奥弗顿窗口」共找到 147 篇相关文章
注意力机制大变革?Bengio团队找到了一种超越Transformer的硬件对齐方案
Transformer虽改变世界但不完美,线性递归等新方法理论有优势,实际在GPU表现不佳。Bengio团队提出硬件对齐算法框架,用滑动窗口循环和B2P算法,实验显示有速度与质量双重突破。
Hinton自曝:前女友提分手,用ChatGPT列出自己「七宗罪」
近日,人工智能教父杰弗里・辛顿透露前女友用ChatGPT列他“七宗罪”后分手。他日常用ChatGPT工作研究,还重申从谷歌离职是因退休,同时警告AI会致失业、有毁灭性打击风险。
GPT-5.4发布,最适合OpenClaw的天选模型登场了。
GPT-5.4发布,作者认为它是OpenClaw天选模型。此前Claude贵且受限,GPT-5.3-Codex世界知识差。GPT-5.4代码能力强、世界知识优,还具多特性,如大上下文窗口,目前ChatGPT已上线。
一文全解析:AI 智能体 8 种常见的记忆(Memory)策略与技术实现
本文剖析8种常见AI记忆方案,如全量记忆、滑动窗口等,分析其原理、特点和适用场景,还给出模拟代码助理解。不同策略各有优劣,适用不同对话场景,能为项目评估、选择和实现Memory方案提供参考。
小米MiMo Agent 跨会话进化
多数AI编程Agent任务一长就忘事,业界主流靠堆上下文窗口应对,但有缺陷。小米MiMo团队开源的MiMo Code,靠显式存储 - 检索机制,200步以上任务胜率超Claude Code达65%,介绍了其设计及优缺点。
万亿参数狂欢!一文刷爆2025年七大顶流大模型架构
文章深入剖析2025年顶级开源模型的创新技术,介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构,揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。
从DeepSeek-V3到Kimi K2:八种现代 LLM 架构大比较
文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术,如DeepSeek V3的多头潜在注意力和混合专家技术,OLMo 2的后归一化策略,Gemma 3的滑动窗口注意力等,探讨架构改进与突破。
别焦虑!不会用AI也不会被淘汰,工程师老哥实测各类工具:10倍生产力神话太夸张了
工程师科尔顿·沃奇实测Claude Code等AI开发工具后发现诸多问题,如难以理解大型代码库上下文、跟不上标准等。他认为‘10倍生产力’是神话,AI需工程师引导,大家不必因AI而焦虑。
GPT-5.6泄露了!
GPT-5.6泄露,150万Token+神级极简UI下月上线。它在前端有质变,能生成高质量UI,上下文窗口达1.5M tokens。OpenAI采取双版本策略,6月还将迎来Anthropic、Google等模型混战,模型迭代周期也在缩短。
一文看清AI、开源与商业的真正博弈,GOBI 2025圆满收官!
12月21日,GOBI 2025全球开源商业创新大会在北京举办。会上多位专家、学者围绕AI开源商业展开讨论。杜莹芬强调开源可持续需制度支撑;汪华称中国开发者迎AI开源创业黄金窗口;蒋涛梳理AI开源商业化新逻辑。