搜索：Attention性能瓶颈

「Attention性能瓶颈」共找到 2434 篇相关文章

谷歌：全栈AI之王

随着Gemini 3模型与第七代TPU的发布，谷歌打破OpenAI与英伟达主导的市场叙事。其全栈AI战略从底层基础设施到用户产品全覆盖，TPU进化、软硬件契合，吸引大客户，C端产品成发展引擎。

这是前OpenAI首席科学家Ilya Sutskever离开OpenAI后的深度访谈。他分享了对LLM研究、实现ASI、研究品味等思考，指出Scaling时代结束，强调‘情感’价值函数等，还回应了创业公司SSI规划。

CUDA代码性能对模型训练与推理重要，但手动优化门槛高。明尼苏达大学团队提出CudaForge，是低成本多智能体CUDA Kernel生成与优化工作流，实验效果好，成本低且具通用性。

Cerebras Research提出REAP框架，通过专家剪枝和合并技术压缩SMoE模型，能让模型‘瘦身’并保持性能，可省50%内存，但社区测试有不同结果，且存在调度开销等问题。

英特尔近两月获多方资金，股价涨幅超116%。但代工业务问题多，如18A产能不足、技术指标不出色、持续亏损等。其要想追上台积电，需合理规划先进节点投资及收缩成熟制程扩张。

传统 token 扩展方式遇算力成本天花板，DeepSeek 与智谱都想到让 AI“看”文字思路。智谱发布 Glyph 框架工程化实现此思路，将文本转图片处理，降低计算成本，有不错效果但也存在排版敏感等限制。

香港中文大学与快手可灵团队联合提出运镜可控视频生成框架CamCloneMaster，引入‘参考即用’范式，告别对相机参数依赖。其训练、测试代码和数据集均已开源，在各项指标上优于SOTA方法。

Andrej Karpathy发布nanochat项目，用8000行代码实现ChatGPT完整训练流程。在8xH100节点跑4小时、花100美元，就能有对话、写故事、答题的AI助手。项目覆盖广，含多训练步骤及评估体系。

亚马逊机器人团队FAR发布人形机器人研究成果OmniRetarget，它能让强化学习策略在复杂环境学技能并零样本迁移。该成果通过交互网格建模关系，经实验验证优势明显，背后团队由华人学者领衔。

Thinking Machines推出论文《LoRA Without Regret》，研究LoRA与FullFT达到相近表现的条件。通过实验发现，把握关键细节，LoRA可与FullFT性能相当，还探讨了关键因素、批大小效应等内容。