搜索：前缀主导陷阱

「前缀主导陷阱」共找到 191 篇相关文章

RTP-LLM 在相关性大模型中的推理优化最佳实践

淘宝搜索场景引入大参数LLM模型，面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践，如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等，还提及未来优化方向。

文章探讨企业数据中心采用ARM架构面临的难题。如现有x86架构主导，切换有兼容性问题；ARM硬件选择有限、性能不足；云服务功能难对等；软件支持和许可证问题也阻碍其应用。

6月24日，前OpenAI安全研究副总裁翁荔在博客发表长文，对缩放定律进行系统梳理，指出该理论在实际拟合和外推过程有易被忽视的陷阱，还讨论了数据有限时定律是否成立等问题。

苹果特意为端侧AI模型训练推出的MLX框架，主动增加了CUDA支持。因CUDA在AI开发领域占主导，且生态强大，苹果此举是借力英伟达生态、扩大自身影响力的战略选择，也避免侵权。

吴恩达新作Prefix Sliding指出，模型推理时丢弃中间已贬值token，只保留前缀+滑动窗口，无需训练可提速3倍，配合RL训练能将推理轨迹扩展到10万token以上。该方法为Agent场景提供新思路。

北大彭一杰教授课题组提出 RiskPO，解决大模型后训练陷入「均值陷阱」问题。它将风险规避理念融入优化目标，用「关注奖励分布左尾」替代「追求整体均值」，在多领域数据集上表现超越 GRPO 等。

本文聚焦多模态大模型，提出基于 OCR 任务量化注意力头视觉偏好的方法，发现仅不到 5%“视觉头”主导视觉理解。还提出 SparseMM 策略优化 KV - Cache 资源分配，经多基准评测，性能和效率表现优。

当前中国股权投资市场处于关键时期，科技投资呈‘止跌回暖’态势，但‘堵点’仍突出。投资正校准重构，硬科技成主导，AI相关领域成热点。2025年8月21日，甲子光年颁布‘2024 - 2025年度中国科技产业投资榜’。

密歇根大学Karthik Duraisamy教授将开展讲座，主题为数据驱动的湍流建模。会介绍过去十年嵌入学习模型增强的进展，强调简约与约束平衡，指出存在的陷阱及挑战，还提及让数据驱动封闭成为可靠组件的要点。

文章指出大模型编程时代，开发者要从‘代码产出者’变为‘文档定义者’，介绍其优势、人+AI结对编程模式，还提及模型工具技巧、开发流程、常见陷阱及应对策略，强调文档驱动和安全合规。