搜索：训练推理效率

「训练推理效率」共找到 4341 篇相关文章

KV-Cache 实战策略：生产环境中的分页、固定与复用技术解析

在大语言模型推理场景中，KV - Cache 是平衡性能与成本的核心技术，但生产环境中面临诸多问题。本文聚焦其分页、固定与复用三大战术，结合原理、实践与案例，为开发者提供解决方案，还探讨了未来演进方向。

麻省理工学院完成针对ChatGPT用户的首次大脑扫描研究，发现长期依赖大模型，学习能力下降、大脑受损，神经连接减少47%。AI提高效率或为误解，使用它是用长期思维能力换短暂效率。

大语言模型的RL技术已成熟，但多模态生成模型的强化学习训练仍“各自为战”，制约AIGC模型能力上限。腾讯混元庞天宇团队开源UniRL框架，打通多模态RL后训练，覆盖多种模型，内置算法与奖励组件。

2026年具身智能竞争激烈，阿里达摩院开源RynnBrain“具身大脑”。它采用分层架构，在16项评测中超越前沿模型。还介绍了核心技术、训练策略等，且全系列模型、评测基准和代码均开源。

1500位作家联名向美国出版商发公开信，要求拒绝AI生成的书籍内容，称创作被AI“偷走”，还指出AI有声书取代人类、耗能大等问题。此前法院裁定用受版权书籍训练AI属合理使用。

上海人工智能实验室等团队提出推理时工具演化（TTE）框架，推动AI在科学领域从被动选工具到主动发明工具。它解决传统工具库问题，提升多学科推理准确率，赋予AI跨学科迁移能力。

当地时间6月12日，AMD CEO苏姿丰在大会展示多款AI新品，将新AI芯片与英伟达同类产品对比，称性能比肩且性价比高。还展示了新软件栈、介绍下一代AI机架产品，预计推理成未来AI发展主驱动力。

一项来自多所高校和微软研究院的研究揭示AI模型价格倒挂现象，低定价模型可能产生更高实际开销。研究聚焦8个前沿推理模型和9个主流数据集，指出推理token是成本倒挂主因，且实际开销难以预测。

人大、清华和腾讯合作发布Crab论文，目标是实现多模态场景理解任务的高效一统。它针对音频 - 视觉理解模型难点提出解决方案，构建数据集、设计LoRA结构、统一架构，训练分预训练和指令调整两阶段。

全球首个分布式RL训练模型INTELLECT - 2发布，整合闲置算力完成训练，成本降低，性能媲美DeepSeek - R1。其采用分布式异步强化学习范式，团队开源四大关键组件，还获Karpathy等投资，未来有多项计划。