「稀疏注意力架构」共找到 2043 篇相关文章
VAE时代终结？谢赛宁团队「RAE」登场，表征自编码器或成DiT训练新基石
纽约大学谢赛宁团队推出RAE替代VAE，解决了DiT依赖旧版SD - VAE的问题，如架构复杂、潜空间受限等。RAE结合预训练编码器和解码器，还提出DiT^DH变体，实验效果好，网友看好其前景。
Karpathy再放大招：8000行代码复现ChatGPT全栈，最低成本仅100美元，4小时跑完
Andrej Karpathy发布项目nanochat，是全栈式ChatGPT克隆体训练/推理流水线，代码约8000行，覆盖训练分词器、预训练等完整流程。介绍不同成本下模型表现，还回答网友关于架构、训练数据等问题。
AI花17小时写了篇30页学术论文！自主选题，包含实验，还符合APA格式规范
Virtuous Machines AI系统花17小时、114美元，找288个真人做实验，写了篇30页认知心理学领域学术论文，从选题到成稿全自动化。其架构独特，不过也存在理论误解等小缺点。
刚刚，这家0产品0模型就估值854亿的公司，终于发布了首款产品！
Thinking Machines Lab推出首款产品「Tinker」，这是专为语言模型微调而生的API，让开发者摆脱底层架构束缚，用简单Python代码专注创新。它功能强大，目前免费私测，已获普林斯顿、斯坦福等团队使用。
从Transformer到GPT-5，听听OpenAI科学家 Lukasz 的“大模型第一性思考”
2017年《Attention Is All You Need》提出Transformer架构，重塑AI版图。其作者“Transformer八子”中，Lukasz Kaiser加入OpenAI，参与GPT-4、GPT-5等研发。他10月将出席大会分享见解，曾预言多模态等趋势已渐成现实。
攻克大模型训推差异难题，蚂蚁开源新一代推理模型Ring-flash-2.0
9月19日，蚂蚁百灵大模型团队开源新一代推理模型Ring-flash-2.0，独创棒冰算法解决训推差异难题，实现稳定训练。该模型仅激活6.1B参数就能打平40B Dense模型性能，降低推理成本。
老黄回应英伟达入股英特尔
英伟达50亿美元入股英特尔，将持有超4%股份成大股东之一。双方要联合开发用于PC和数据中心的AI芯片，未来芯片或成CPU与GPU融合的超级芯片。此合作或冲击AMD和台积电。
Meta最新REFRAG框架引爆RAG圈！KV缓存暴降90%，速度狂飙30×
Meta推出REFRAG框架解决RAG难题。它能在不修改解码器参数下压缩上下文、复用文档向量等。实验显示，它降低KV缓存、加速TTFT，在多任务表现佳，为大模型与知识库结合提供新范式。
证书透明度如何重塑互联网信任
文章探讨引入证书透明度（CT）的原因、工作原理及对数字信任的意义，揭示CA机构信任危机，介绍CT架构和实践工具，还展望其未来创新，如Static Sunlight API、委托凭据等。
腾讯开源智能体新框架：不用训练无需充值，用开源模型实现SOTA Agent
智能体框架是推动智能体生态发展的基础设施，但现有框架存在上手门槛高、依赖闭源模型等问题。腾讯优图实验室开源Youtu - agent框架，无需训练模型、不依赖闭源API，性能领先，有多个核心亮点和典型应用案例。