「推理加速技术」共找到 4890 篇相关文章
24个月，从写第一行代码到破产：一位架构师在47个“死亡”项目里，看到的共同陷阱
架构顾问审阅47家初创公司代码库，发现它们因产品无法扩展、技术债积累走向停滞。提出花两周做架构可避免问题，还指出AI虽降低开发门槛，却加速技术债积累。
谁在幕后操控特朗普2.0？PayPal黑帮与“科技共和国”野心 | 赠书福利
2025年特朗普启动国家级AI发展计划，背后是硅谷技术精英。他们用资本等重塑美国权力逻辑，核心是彼得·蒂尔。“技术加速主义”思潮兴起，主张技术进步解决问题，亚历山大·卡普构想“科技共和国”。
以加代乘？华为数学家出手，昇腾算子的高能设计与优化，性能提升30%！
大模型落地面临推理难题，华为团队基于昇腾算力发布三项硬件亲和算子技术研究，包括以加代乘的AMLA算子、融合算子技术、SMTurbo加速技术，实现能效、协同和速度突破，未来将拓展应用场景。
黄仁勋抢吃龙虾：英伟达新核弹10倍算力提升，OpenClaw自由了
北京时间凌晨，英伟达GTC大会召开。CEO黄仁勋称正处新平台变革开端，算力需求爆发。推出Vera Rubin系统，性能提升显著，还有新推理芯片LPU。上线NemoClaw保障安全，AI在物理世界也加速落地。
刚刚，OpenAI Astra核心架构爆出：大模型第三条Scaling法则诞生
The Information记者爆料OpenAI即将推出的Astra模型采用“recurrent depth”新推理方法，该技术能降本提效，但引发AI安全与可观测性担忧。清华与字节论文解决了循环模型“算力不公平”问题，并给出Scaling Law。
谷歌新论文把内存股价干崩了！KV cache压缩6倍，“谷歌的DeepSeek时刻”
谷歌研究院推出TurboQuant压缩算法，可将AI推理中最吃内存的KV cache压缩至少6倍且精度零损失，还能8倍加速计算。虽引发存储芯片巨头股价下跌，但目前只是实验室成果，仅解决推理阶段内存问题。
内幕曝光：OpenAI模型坦承不会第六题，3人俩月拿下IMO金牌！
OpenAI三人团队俩月让AI达IMO金牌水平。他们用多智能体系统技术，使模型能短时间解复杂问题。新模型有自省能力，减少“幻觉”问题。此次突破是通用推理技术进步，未来将整合进更多模型。
vLLM 新特性：批量大小不再影响模型输出
vLLM 推出批量不变推理功能，解决大模型推理中相同输入在不同批量大小下结果不同的问题。设置 `VLLM_BATCH_INVARIANT=1` 可保证输出一致，技术实现含三部分，虽有性能开销但换来了结果确定性。
其实，扩散语言模型在最终解码之前很久，就已确定最终答案
随着扩散语言模型（DLM）发展，它成自回归（AR）模型有力替代。但实际推理慢于 AR 模型。研究者发现早期答案收敛现象，提出 Prophet 策略，实验显示其能在保持高质量生成时显著加速推理。
PyTorch博客翻译 Accelerating Generative AI Part III: Diffusion, Fast
这篇博客介绍用纯原生 PyTorch 技术将文本到图像的 diffusion 模型（特别是 Stable Diffusion XL）推理速度提升高达 3 倍的方法，讲解五种优化技术，还验证了方法在其他 diffusion 模型上的通用性和有效性。