「计算优化」共找到 1787 篇相关文章
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
求稳的安全IP，安谋科技如何守正出奇？｜甲子光年
12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，给出面向高性能计算芯片的全栈安全解决方案。该方案从硬件IP层、软件中间件到云端服务构建一栈式安全防护体系，有五大核心亮点。
大模型能“原地”改参数了！字节Seed&北大新论文：测试时推理无需加层重训练
字节Seed和北大研究团队提出In - Place TTT方案，让大模型能“原地改参数”。它复用Transformer的MLP模块，解决现有TTT架构不兼容、计算效率低和优化目标不匹配问题，实验证明可提升模型长文本任务表现。
中兴发了一篇论文，洞察AI更前沿的探索方向
当大模型参数量冲向万亿级，AI 行业面临瓶颈。中兴通讯发布论文剖析困境，勾勒前沿方向。文中分析了 LLM 现状、架构瓶颈、AGI 争议等，还阐述了改进优化措施及下一代计算范式发展趋势，介绍了中兴的探索实践。
TileLang深入详解-第三章-Kernel，Buffer，并行控制和矢量化
文章详细介绍TileLang核心编程构造，包括Kernel函数、Buffer和并行控制等。阐述其计算定义、并行与循环控制方式，还提及性能优化的矢量化访存，给出代码示例，并分享源码里形状、并行域和线程的最佳实践。
中移动九天团队MultiPL-MoE：全新Hybrid-MoE架构用于增强通用大模型低资源代码能力
大语言模型在有限计算资源下提升多语言代码能力面临挑战。中国移动九天团队提出 Hybrid MoE 架构 MultiPL - MoE，耦合两层专家选择机制优化，实验证明其在增强低资源代码能力、缓解高资源语言遗忘上有效。
先验+后验加持，大模型能否 hold 住推理预测的现实「溢出」？
多数大模型评估基准依赖固定数据集，难测真实推理实力。字节跳动等推出的 FutureX 动态评测基准，将重点移至动态预测能力。实验显示不同模型在不同任务表现有别，大模型在现实场景运用仍待优化。
一篇多模态大模型推理技术最新综述
华东师大&字节跳动系统回顾基于强化学习的MLLMs推理进展，涵盖关键算法设计、奖励机制创新及实际应用，探讨了RL在LLMs/MLLMs中的关键设计与优化策略，还涉及多模态大模型推理多方面内容。
基于 Qwen3-VL-Embedding-8B 实现文搜图语义内容检索的实战教程
文章围绕Qwen3-VL-Embedding-8B模型展开，介绍其核心特性、技术架构等，提供环境搭建、模型部署指南，给出文搜图系统架构及代码实现，还通过电商、社交媒体、企业文档三个实战案例展示应用，最后讲解性能优化与常见问题解决方法。
深度访谈：阿里云X平头哥，模型推理提升13倍背后的秘密
这篇深度访谈聚焦阿里云与平头哥，探讨模型推理提升13倍背后的秘密。随着AI焦点转向推理，行业面临算力、成本、监管等矛盾。嘉宾分析推理范式现状与变化，探讨推理加速技术及优化策略，还谈及瓶颈、未来发展及竞争方向。