「ToM推理框架」共找到 3425 篇相关文章
低延迟、高吞吐，LLM优化与高效推理引擎综述
LLM计算成本高，用户要低延迟，企业要高吞吐。工程师开发优化技术，如动态批处理、KV缓存、模型量化。论文对比25款推理引擎，还探讨了多模态支持、手机端推理、新型架构支持等进化方向。
字节跳动李航博士新作：AI智能体的通用框架
字节跳动李航博士在JCST发表观点论文，提出涵盖软件和硬件智能体的通用框架。该框架以完成任务为目标，依赖LLM，用强化学习构建。文章还探讨了与大脑机制关联、未来研究方向等。
AI Infra入门干货总结：大模型是如何高效推理的
作者深入研读vLLM源码，以Llama 3为例，聚焦Decoder-Only架构LLM，介绍推理各环节及张量维度变化，讲解连续批处理和Paged Attention概念，还阐述推理流程、采样策略等，最后总结相关拓展内容。
Meta「透视」AI思维链：CRV推理诊断，准确率达 92%！
Meta FAIR团队在论文中提出CRV方法，可实时观察AI思维过程。它通过改造模型大脑结构，让推理可见。在算术推理实验中，检测精度提升到92.47%，还能让模型修正错误。不过该技术落地尚面临诸多挑战。
拒绝不必要Think：微软&北大提出第一种自适应大型混合推理模型
大型推理模型冗长思考开销大，微软研究院和北大提出大型混合推理模型（LHRMs），它能依查询上下文决定是否思考。介绍了两阶段训练流程、评估指标，实验显示其超越现有模型且效率高。
大模型破译甲骨文创下新SOTA！复旦团队推出新框架
复旦大学团队提出基于部首和象形分析的可解释甲骨文破译框架，构建PD - OBS数据集。该框架在公开基准数据集上准确率高，零样本破译能力强，能输出可解释分析文本，助力考古破译。
VLA 推理新范式！一致性模型 CEED-VLA 实现四倍加速！
近年来，VLA模型成机器人领域重要研究方向，但推理速度受限。本文提出一致性蒸馏训练、混合标签监督机制及提前退出解码策略，在多基线模型上实现超4倍推理加速，实验验证其高效通用。
重磅！鸿蒙平台首个全跨端APP ——腾讯视频ovCompose框架发布
腾讯视频团队推出跨平台开发框架ovCompose，弥补Compose Multiplatform不足。还推出KuiklyBase，涵盖多项鸿蒙适配等建设。该框架有高性能、支持混排等优势，已开源，未来将持续优化。
Sora没做到的，LongVie框架给解决了，超长视频生成SOTA
视频生成近年进步大，但生成超1分钟高质量长视频仍难。上海人工智能实验室等机构提出LongVie框架，解决时序不一致和视觉退化问题，还推出评测基准LongVGenBench，该框架在多项指标达SOTA。
睡觉也在卷！伯克利Letta新作「睡眠时计算」让推理效率飙升
Letta和UC伯克利研究者提出「睡眠时计算」技术，能让LLM在空闲时间提前思考以提升推理效率，降低推理成本，在多数据集实验中展现优势，在软件工程任务中也有应用。