滑动窗口循环」共找到 287 篇相关文章

新闻资讯7

首次曝光!OpenAI新一代旗舰Astra换上“循环深度”推理架构:用计算深度换参数规模

9月2日消息,OpenAI将推出的旗舰模型Astra采用“循环深度”新技术,用较小模型实现庞大模型性能,降低成本。但该技术会让AI推理过程不可读,加重安全担忧,此前奥特曼已因Astra“能力过强”踩刹车。

AI前线
新闻资讯7

GPT-6 真要来了!OpenAI全新推理架构“循环深度”首次曝光:可榨出14倍参数潜能

OpenAI将推旗舰模型GPT - 6(内部代号Astra),采用“循环深度”新技术,能榨出14倍参数潜能,降低成本,但会使AI推理过程不可读,加重安全担忧。OpenAI已因该模型“能力过强”踩刹车。

InfoQ
新闻资讯7

Anthropic CEO:模型可在一亿上下文窗口中学习,且不改变权重,未来AI将每月10万美元

Anthropic CEO Dario Amodei预测几年内将出现月费10万美元、支持1亿词上下文窗口的AI模型。Google Research论文揭示LLM能在不改变权重下,通过「临时便签」机制学习,还介绍了其原理与实验验证。

AGI Hunt
推荐文章8

硬核拆解大模型,从 DeepSeek-V3 到 Kimi K2 ,一文看懂 LLM 主流架构

本文详细列举 8 个主流大语言模型,硬核拆解架构设计与革新思路,介绍架构演进趋势。如 DeepSeek-V3 的 MLA 与 MoE 技术,OLMo 2 的归一化策略,Gemma 3 的滑动窗口注意力机制等。

机器之心
算法论文8

吴恩达新作:87%推理token用不着,丢掉反而快3倍

吴恩达新作Prefix Sliding指出,模型推理时丢弃中间已贬值token,只保留前缀+滑动窗口,无需训练可提速3倍,配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。

PaperAgent
推荐文章8

一文全解析:AI 智能体 8 种常见的记忆(Memory)策略与技术实现

本文剖析8种常见AI记忆方案,如全量记忆、滑动窗口等,分析其原理、特点和适用场景,还给出模拟代码助理解。不同策略各有优劣,适用不同对话场景,能为项目评估、选择和实现Memory方案提供参考。

AI大模型应用实践
开源动态8

万亿参数狂欢!一文刷爆2025年七大顶流大模型架构

文章深入剖析2025年顶级开源模型的创新技术,介绍了DeepSeek V3/R1、Kimi 2、Qwen3等七大顶流大模型架构,揭示滑动窗口注意力、MoE和NoPE如何重塑效率与性能。

新智元
推荐文章8

从DeepSeek-V3到Kimi K2:八种现代 LLM 架构大比较

文章对比了DeepSeek-V3、Kimi K2等八种现代LLM架构。介绍各模型独特技术,如DeepSeek V3的多头潜在注意力和混合专家技术,OLMo 2的后归一化策略,Gemma 3的滑动窗口注意力等,探讨架构改进与突破。

PaperAgent
产品应用7

大规模替换数据库序列,保障百余个服务平稳运行

Coupang从关系型数据库迁移到NoSQL时,为解决序列替换问题,自研了专用解决方案。该方案采用双层缓存与滑动窗口预填充机制,以DynamoDB为数据源,让百余个服务无需重写代码完成迁移,性能和成本表现佳。

InfoQ
新闻资讯7

奥特曼马斯克豪言:我们已进入奇点!AGI加速窗口已至

新智元报道,奥特曼和马斯克都认为奇点已至,当下处于AGI加速窗口。OpenAI曾靠资源猛追让Codex逆袭。但AI发展也引发担忧,如人类能否保持理智、安全对齐进展不明等。

新智元