「瓶颈分析」共找到 1639 篇相关文章
【博客转载】Row-Major VS Column-Major
文章探讨行主序和列主序存储多维数组的差异，以及对矩阵乘法性能的影响。指出不同存储顺序组合下矩阵乘法的偏好，还通过C++单线程实现和cuBLAS库验证分析，表明优化可减少性能差距。
OpenAI新模型，被曝秘密训练中！万字硬核长文直指o4核心秘密
SemiAnalysis爆料，OpenAI正训练规模介于GPT - 4.1和GPT - 4.5间的新模型，下一代推理模型o4基于GPT - 4.1训练。强化学习成推理模型进步功臣，但面临基础设施瓶颈，奖励函数难定等问题。
MetaShuffling：Meta的Fused MoE kernel工程方案，更激进的Kernel优化和尽量避免Padding
文章介绍Meta的Fused MoE kernel工程方案MetaShuffling，可高效部署Llama 4模型。它处理MoE推理挑战，介绍多种token选择路由方案，阐述运行时设计、不同并行化方式及优化思路，还展示性能测试与Trace分析。
5 万行代码 Vibe Coding 实践复盘：最佳实践、关键技术，Bitter Lesson
大厂资深工程师分享 3 个月用 AI 写 5 万行代码的体验，介绍 Vibe Coding 实践，分析 Coding Agent 关键技术如语义搜索、MCP，对比 Cursor、GitHub Copilot、Cline 等产品，还提到 Agent 开发要避免过度植入人类经验。
函数向量对齐技术，让大模型持续学习不“失忆”丨ICLR 2025
中国科学技术大学等校团队破解大语言模型灾难性遗忘之谜，发现遗忘源于模型激活带偏差新功能，非覆盖旧功能。还设计FVG训练法，保留并对齐函数向量，保护模型能力。相关论文被ICLR2025接收，代码开源。
具身智能需要从ImageNet做起吗？
文章探讨具身智能发展，分析其爆发原因，如人类无法完全数字化等。指出几种失败模式，还讨论输入信号、触觉、学习方法等决策点，认为具身智能的‘ImageNet’时刻是伪命题，不同智能领域可能殊途同归。
快9倍还更清晰？Direct3D-S2一键解锁高效3D生成
在高分辨率三维形状生成中，传统方式有计算与内存瓶颈。南京大学提出Direct3D - S2框架，基于稀疏体积构建，有空间稀疏注意力机制，加速计算，还引入统一格式VAE，生成质量领先，训练成本更低。
ICLR 2025 Oral | LLM也有从众心理！
浙江大学团队论文指出，多AI协作系统存在“群体思维”，多个AI共同决策时会盲目跟多数意见。研究者开发BenchForm测试平台验证LLM从众行为，还分析原因、给出让LLM更独立的方法，指出从众利弊及未来挑战。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。
Transformer | 一文带你了解Embedding（从传统嵌入方法到大模型Embedding）
文章介绍Embedding基础知识，从传统统计方法到如今大模型用例演变过程。涵盖传统、静态、上下文及大模型Embedding技术，如TF - IDF、word2vec、BERT等，还剖析DS - Qwen1.5B的Embedding并以图展示。