「集群性能优化」共找到 2912 篇相关文章
迈向可信AI：LLM幻觉的分析与优化
随着LLM广泛应用，其幻觉现象成AI落地关键挑战。文章分析LLM幻觉成因、优缺点，结合RAG、SFT、强化学习等技术，提出多维度优化方案，为构建可信大模型应用提供理论与实践路径。
OpenAI 发布了个 ChatGPT 优化计划，不是GPT-5
OpenAI未发布GPT - 5，而是推出ChatGPT「健康使用」优化计划，旨在助用户成长而非让人上瘾，措施包括休息提醒、改进生活建议功能等，还与专家合作改进响应方式。
长上下文不再难：KV Cache 全生命周期优化实战
长上下文大语言模型发展带来计算和内存挑战，现有基准测试多忽视 KV 缓存完整生命周期。微软姜慧强在 AICon2025 分享 SCBench 工具，梳理推理优化方法，介绍 MInference 等，还提出 Tri - shape 方法等成果。
Zvec: 开箱即用、高性能的嵌入式向量数据库
Zvec是轻量级嵌入式向量数据库，为终端侧设计，有开箱即用等四大优势。它基于Apache 2.0协议开源，能满足向量检索在多场景需求，相比现有方案功能更全、资源管控强、性能出色，后续还将持续迭代。
AMD发布旗舰AI芯片，称性能比肩英伟达
当地时间6月12日，AMD CEO苏姿丰在大会展示多款AI新品，将新AI芯片与英伟达同类产品对比，称性能比肩且性价比高。还展示了新软件栈、介绍下一代AI机架产品，预计推理成未来AI发展主驱动力。
DeepSeek V3.2爆火，Agentic性能暴涨40%解密
文章解密了DeepSeek V3.2 Agentic性能暴涨40%的原因，即采用交错思维链机制。还对比了其与早期ReAct范式，介绍其效果、原理，以及MiniMax为落地该机制做的工作，最后提到多家模型达成技术共识。
sgl-kernel MoE Align Block Size Kernel 优化过程解析
文章记录SGLang的sgl-kernel中优化 `moe_align_kernel.cu` 的过程。MoE模型的 `moe_align_block_size` kernel从最初的baseline版本经多次迭代，包括加向量化padding、用Blelloch Scan并行化前缀和、用Warp Scan减少同步开销等。
Uno Platform 6.6 发布：Android 启动性能最高提升 61%
Uno Platform 6.6发布，在五平台引入原生AOT发布、可选Vulkan渲染后端等。聚焦运行时性能，提升多平台启动速度，还简化XAML编写，增强AI辅助、无障碍及多语言支持等。
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
AI Agent平台Sedai获2000万美元融资，主打云优化
AI Agent平台Sedai获2000万美元B轮融资，由AVP领投。它聚焦云优化，用智能体取代人工运维，节省成本。产品应用广泛，核心能力突出，2024年收入增长7倍，计划扩平台、引新功能、扩市场团队。