「并行推理加速」共找到 2686 篇相关文章
端侧AI加速到来，个人隐私如何保护？
Deepseek推动端侧AI加速落地，苹果、谷歌等企业纷纷布局。不过，端侧AI在发展中面临融合不佳、数据安全等问题。阿里研究院傅宏宇提出保障数据安全的建议，监管层也出台相关法规。
AI驱动增长，国产半导体设备加速突围
2025年全球半导体设备市场在AI拉动下增长，销售额预计达1330亿美元。中国市场领跑，国产企业加速突围。AI算力、存储芯片需求及后道封装测试成增长动力，本土企业在多领域取得进展，但也面临挑战。
阿里云发布Qwen Cloud，加速AI出海！
阿里云在新加坡面向海外发布Qwen Cloud、Agent产品MuleRun等一系列产品及更新，实现云基础设施升级。Qwen Cloud是全新AI产品官网，Qwen3.7 - Max位列全球第五，Qoder用户超500万，阿里云基础设施迈入Agentic Cloud。
DeepSeek-R1 更新，思考更深，推理更强
DeepSeek R1 模型完成小版本升级至 DeepSeek - R1 - 0528，用户可在官网、APP 等体验，API 同步更新。该版本强化深度思考能力，在多基准测评表现优异，还改善幻觉、提升创意写作等能力。
ZeroGPU Spaces 加速实践：PyTorch 提前编译全解析
本文聚焦 ZeroGPU Spaces 加速实践，介绍 PyTorch 提前编译。ZeroGPU 使在 Hugging Face Spaces 用 Nvidia H200 硬件更高效，但有局限。提前编译可优化模型，提升演示速度，还分享了接入方法、高级技巧及演示示例。
斯坦福开源复杂推理AI Agent，融合超10种工具
传统AI助手应对复杂任务能力有限，斯坦福开源OctoTools，这一复杂推理AI Agent融合11种工具。它在16项基准测试中准确率高，能应对多领域复杂场景，框架含工具卡片、规划器等构件。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
AI Spot 学术分享会丨ICLR 2026 深度推理专场
当大模型走向深度推理，ICLR 2026 汇聚全球顶尖成果。OpenMMLab 等联合发起 AI Spot ICLR 2026 学术分享会，5 月 14 日 19 点直播，聚焦模型‘慢思考’，嘉宾将解读四大核心技术。
LLM算力告急？把文本变图片，推理成本直接减半！
大型语言模型处理长文本时计算成本高，本论文探索‘文本即图像’输入压缩策略，将长文本渲染为图像输入多模态模型，可减少近一半令牌，且任务性能不受显著影响，在多任务中验证了其有效性。
OpenAI 官方博客：用技能（Skills）加速开源项目维护
OpenAI用Codex改变维护OpenAI Agents SDK仓库方式，通过仓库本地技能、`AGENTS.md`文件和GitHub Actions，将工程工作变为可重复工作流，提升开发效率，还介绍了配置、技能架构及使用注意事项。