「六层上下文架构」共找到 2350 篇相关文章
马斯克刚刚真把 𝕏 平台推荐算法给开源了,核心也是Transformer
𝕏平台(原Twitter)将全新推荐算法开源,由与xAI的Grok模型相同的Transformer架构驱动。该算法预测用户行为对帖子排序。此前平台因算法问题被调查和罚款,开源或有此原因。
苹果光速撤回RLAX论文:用了谷歌TPU和阿里Qwen,作者中还有庞若鸣
苹果一篇新论文在 arXiv 公开后匆匆撤稿。该论文揭示基于 TPU 的可扩展 RL 框架 RLAX,用了谷歌 TPU、亚马逊云及阿里 Qwen 模型,还介绍其架构、策略支持等,实验结果亮眼,也分享 Debug 过程。
AGI 新技术路线:下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术,用块间代表交流机制实现线性复杂度,兼具多种注意力机制优点,可满足宇宙尺度建模的上下文长度需求。
华为超节点:用「一台机器」的逻辑,驱动AI万卡集群
在华为全联接大会2025上,华为基于自研灵衢互联协议创新超节点架构,重新定义大规模有效算力新范式。它能解决传统集群通信问题,还推出覆盖全场景的产品组合,并强调‘硬件开放、软件开源’生态战略。
Anthropic 断供,国产 Coding 模型的中场战事开启
Anthropic对中国企业断供,国产模型面临成为Claude平替的机遇。Kimi等模型纷纷尝试,Kimi K2 0905版本在编码、上下文及工具调用上提升,其终极目标或构建具Agent特质产品,未来Agent是决胜场。
NextStep-1:一次在图像生成上自回归范式的探索
阶跃星辰团队探索自回归图像生成新路径,推出 NextStep-1。它直接在连续视觉空间自回归生成,架构简洁,实现端到端训练。模型有高保真生成和编辑能力,Benchmark 表现佳,但也面临稳定性等挑战。
GLM4.5之后,智谱又开源GLM-4.5V,实测下来视觉推理能力贼强~
智谱继GLM4.5后又开源GLM - 4.5V,它是同级别开源SOTA视觉推理模型,在多模态理解榜单表现优异。文章实测其在科研全生命周期的应用,还介绍了模型架构设计和训练策略。
SSM+扩散模型,竟造出一种全新的「视频世界模型」
在AI热词不断涌现的时代,斯坦福大学等机构研究将长上下文、状态空间模型、扩散模型等结合,创造全新「视频世界模型」。它用状态空间模型实现长期记忆,还设置局部注意力机制,训练和推理表现出色。
Claude Opus 5发布,砍掉了Claude Code 80%的系统提示词
Anthropic发布Claude Opus 5,接近Claude Fable 5智能且价格减半,测评成绩出色,科研和视觉输出能力也有进步。同时发现砍掉Claude Code 80%系统提示词,编码评测分数不变,还总结出上下文工程新方法论。
阿里SkillClaw:让 Agent 技能在真实使用中集体进化
当前LLM Agent依赖可复用技能完成任务,但技能部署后静态不变,改进仅停留在当前会话。阿里SkillClaw提出中心化进化架构,将多用户交互作为技能改进信号,通过Agentic Evolver更新技能,经夜间验证后部署。