「Attention性能瓶颈」共找到 2434 篇相关文章
揭秘千卡 GPU 集群如何高效训练多模态大模型：vivo AI 团队实战经验分享｜AICon
在 InfoQ 举办的 AICon 大会上，vivo AI 架构师王兆雄分享多模态大模型训练经验。介绍了 LLaVA 和 DiT 模型训练挑战，从数据处理、模型计算等方面提出优化策略，还展望 AI Infra 未来发展方向。
SGLang 推理引擎的技术要点与部署实践｜AICon 北京站前瞻
SGLang 是开源推理引擎，截至 2025 年 6 月，在 GitHub 获近 15K Stars，月均下载超 10 万次，被多家行业巨头采纳。InfoQ 专访其核心开发者尹良升，他分享技术、挑战等，6 月 27 - 28 日他将在 AICon 演讲。
让AI自己设计芯片！中国科学院发布「启蒙」，芯片全流程自动设计
近日，中科院计算所联合软件所推出「启蒙」系统，基于AI实现处理器芯片软硬件全流程自动设计，达到或部分超越人类专家水平。该系统在多方面表现出色，如设计的CPU达ARM Cortex A53性能等。
开源黑科技！向量数据库，居然要被 MP4 给干掉了！
GitHub开源项目Memvid，能用MP4视频文件替代昂贵的向量数据库，检索达亚秒级。它把文本编码成视频，用配套JSON索引记录位置，结合sentence-transformers和FAISS实现语义搜索，存储和检索性能出色。
首次解释LLM如何推理反思！西北大学谷歌新框架：引入贝叶斯自适应强化学习，数学推理全面提升
西北大学与Google、谷歌DeepMind团队质疑传统强化学习与反思的关系，提出贝叶斯自适应强化学习方法，首次解释为何、如何及何时反思探索新策略，还给出决策数学形式，实验显示其性能更优。
刷新世界记录！40B模型+20万亿token，散户组团挑战算力霸权
Nous Research推出Psyche网络，用区块链汇聚全球计算资源，启动40B参数大语言模型Consilience预训练，达20万亿token创纪录。还解决带宽瓶颈等问题，让AI训练去中心化，推动创新与民主化。
ICML 2025 | 无需训练，即时对齐大模型偏好
上海人工智能实验室提出TPO方案，可让大模型在推理时快速对齐人类偏好，无需更新模型权重。TPO类似文本形式的梯度下降，在多个基准数据集评测中表现出色，还提供“宽深结合”推理拓展策略。
她拒了贝索斯，离开黄仁勋，只为回答一个问题：AI能学会物理世界吗？
近日，AI初创公司Accelerated Understanding亮相，由Anima Anandkumar夫妇创立。它未随主流，目标是训练模拟物理现象的通用AI模型。该模型处理数据规模大，公司想解决AI验证瓶颈，产品面向科研工程机构。
落地商用开启国产一体化智算新时代，蓝芯算力LX500亮相滴水湖RISC-V产业论坛
2026年8月13日，第五届滴水湖中国RISC - V产业论坛召开。蓝芯算力生态营销负责人许庆伟以核心产品LX500为线索，从架构、算力、商业落地三方面，展示国产RISC - V算力商用路径。
Pinecone 推出 Nexus 引擎：为 AI 智能体整合业务上下文并生成结构化数据
Pinecone Nexus 全面上线，是面向 AI 智能体的“知识引擎”，能将企业数据转为结构化数据层，复用数据提准确性、降成本。早期采用者在金融、法律领域看到显著性能提升，词元消耗大幅降低。