「注意力经济」共找到 388 篇相关文章
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
DeepSeek-V3.2正式版发布，将开源模型的能力推向极致
DeepSeek-V3.2正式版开源，包含标准版和Special版。它采用稀疏注意力机制，降低计算复杂度。后训练阶段有多项算法改进，支撑高难度推理。还融合思考与工具使用，合成训练数据，在智能体评测表现优异。
Jina-VLM：可在笔记本上跑的多语言视觉小模型
Jina AI 发布 2.4B 参数量的视觉语言模型 Jina-VLM，在多语言视觉问答任务达 SOTA。它引入注意力池化，连接视觉与语言基座，支持 29 种语言，能高效处理问答等任务，对硬件需求低。
Ilya 最新访谈，预训练时代终结后，AI行业来到了哪里？
Ilya接受90多分钟深度访谈，指出当前大模型泛化能力远不如人，Scaling时代终结，研究时代回归。还谈到AI经济影响与跑分不匹配、泛化能力鸿沟、情感价值等问题，预测超级智能5 - 20年到来。
对标GPT-4o和香蕉！浙大开源ContextGen：布局身份协同新SOTA
浙江大学ReLER团队开源ContextGen框架，攻克多实例图像生成中布局与身份协同控制难题。基于Diffusion Transformer架构，用双重注意力机制实现布局精准锚定与身份高保真隔离，在基准测试中超越开源SOTA模型，对标GPT - 4o等闭源系统。
阿里开启 Token 战略，喊出云+AI 年收入破千亿口号，底气从哪来？
3月19日晚，阿里在财报电话会提出未来五年云与AI商业化年收入破1000亿美元目标。过去三月，阿里云Token消耗涨6倍，自研芯片交付47万片，还提价。其正从‘用户红利’转向‘Token经济’，有望‘量价齐升’。
Altman拿Token换股权只够烧45天，20亿Token捐母校只值100块：Token真成“钱”了，谁更赚？
本文围绕AI Token展开，讲述OpenAI用Token换创业公司股权，00后捐20亿Token给母校，还探讨了“tokenmaxxing”现象及问题，指出AI行业经济账未算清，企业客户成本高，AI成管理层压迫工具。
Agent 的第一性问题：Proactive 与 Context 经济学
过去一年AI Agent能力提升，但用户体感未同步变好，原因在于人类注意力窗口有限。赛道分化，主动式桌面Agent是新方向，AirJelly是代表产品，五源资本对其创始人黄柏特进行访谈，探讨产品设计、应用场景等问题。
奥特曼承认OpenAI路线走偏了，以及“写代码将变得不再重要”
奥特曼在直播中给出诸多实诚结论，如未来工程师人数或大幅增加，写代码时间将减少，OpenAI搞砸ChatGPT5系列模型，后续会回归通用模型，还探讨了AI对教育、经济、安全等方面的影响。
圣路易斯联邦储备银行报告：美国大量人口已使用生成式AI
圣路易斯联邦储备银行报告显示，截至2024年末，美国18至64岁近40%人口用生成式AI，职场23%劳动者每周至少用一次。还对比其与PC、互联网普及情况，分析使用差异及对经济的生产力提升。