「分层稀疏注意力」共找到 442 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
混元3D世界模型1.0 lite版本发布，消费级显卡就能跑
腾讯混元3D世界生成模型HunyuanWorld 1.0发布即开源，可在消费级显卡运行，还能兼容传统CG管线。它分层实现3D生成，通过量化等技术降低显存开销，与同类模型相比优势明显。
从一行代码发现DeepSeek的秘密：Model1到底是什么？
在DeepSeek - R1发布一周年时，有人在GitHub的FlashMLA代码仓库发现神秘代号Model1，可能是V4。文章分析了代码仓库用途、新模型“露馅”原因，还从代码中发现Model1细节，结合论文梳理时间线，最后也提出了怀疑。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。
TinyAI ：全栈式轻量级 AI 框架
TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。
挤干大模型高分「水分」！最强模型仅49分，南大傅朝友发布Video-MME-v2
南京大学傅朝友团队在 Google Gemini 评测团队邀约下推出视频理解新基准 Video-MME-v2。它有创新的分层能力体系与组级非线性评分，揭示模型与人类的巨大鸿沟、传统 Acc 指标虚高、“Thinking”并非总是增益等现象。
对标GPT-4o和香蕉！浙大开源ContextGen：布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。
996 工作制席卷硅谷！招聘启事惊现“加班警告”：接受就是年薪翻倍+股权暴增，不接受就滚蛋
996工作制正席卷硅谷，尤其在AI等高速迭代领域。过去美国强调工作与生活平衡，如今为追求速度，加班成刚需。部分公司用996筛选员工，也有公司分层推进。但此举引发争议，还存在法律风险。
对话地平线前高管牛建伟：万亿参数大模型如何重塑具身智能
具身智能赛道分“VLA派”“智驾降维派”和“大模型派”。地平线前高管牛建伟认为VLA是弯路，主张用分层架构，以万亿参数“空间智能大模型”做大脑，VA小模型执行操作，目标是做物理世界的OpenClaw。
对话 OPPO AI 姜昱辰：手机才是 Memory 最好的土壤，AI 一定会彻底改变智能手机
文章是对OPPO AI姜昱辰的访谈。他认为AI会改变智能手机，OPPO将小布记忆做成跨系统收藏夹。产品迭代后记得更广、更深、更有用，团队还探索记忆分层、更新等，也重视用户隐私和主动推荐能力提升。