搜索：非推理型模型

「非推理型模型」共找到 8453 篇相关文章

全球首次，Transformer「混血」速度狂飙65倍！英伟达已下注

康奈尔、CMU等机构研究者提出「混合体」Eso - LM，融合自回归和离散扩散模型范式。它引入KV缓存机制，推理速度相比标准MDM提升65倍，在速度与质量平衡上超越BD3 - LM，引发AI领域关注，英伟达或押注此方向。

近期大模型长上下文需求增长，成本问题凸显。Google Gemma 4、Poolside Laguna XS.2、Zyphra ZAYA1 - 8B、DeepSeek V4 等模型各有架构优化，如 Gemma 4 跨层 KV 共享和 PLE，以降低长上下文推理成本。

上海创智学院和上海交通大学研究团队深入探讨不同基础语言模型在强化学习训练中的差异，提出中期训练策略，将 Llama 改造成适配 RL 的推理基础模型，缩小与 Qwen 性能差距，还发布了 MegaMath-Web-Pro-Max 数据集。

MiniMax 7月10日举办M1技术研讨会，探讨模型架构创新等领域。会议围绕RL能否赋予模型新能力、预训练价值等展开，指出长上下文是Agent的Game changer，混合架构将成主流，还分享了混合架构推理实践及M1相关问答。

文章介绍Google开源的LangExtract，它基于大语言模型，能将非结构化文本转为结构化数据。有精准溯源、少样本定义等6大优势，可3步完成安装配置，还介绍基础使用、长文档处理、多模型支持及实战案例等内容。

传统扩散模型做视频生成速度慢、画面不稳定，难用于实时虚拟人场景。阿里Live Avatar框架将算法和系统一起设计，用TPP并行推理策略和RSFM机制等，5张H800 GPU能实现20 FPS高保真实时虚拟人生成。

在2025全球产品经理大会中，奇点智能研究院院长李建忠分享了大模型驱动的AI产业生态和产品创新。他谈到推理范式转换使模型进入“经验数据时代”，还分析了应用开发、人机交互范式转换及智能体生态演进，预言孤立App时代终结。

阿联酋穆罕默德·本·扎耶德人工智能大学与G42公司联合推出开源AI推理系统K2 Think，基于Qwen 2.5 - 32B模型。它靠六项技术性能出众，在多领域测试成绩好，还以小参数量媲美大模型，且全面开源。

当前大语言模型（LLM）核心架构存在根本性缺陷，受大脑分层处理和多时间尺度启发，本文提出仅2700万参数的分层推理模型（HRM），免预训练与CoT标注，单次前向传播解决复杂任务，在ARC - AGI上超越GPT - 4等LLM。

这是使用纯原生PyTorch加速生成式AI模型系列博客的第四部分，专注加速FAIR的Seamless M4T - v2模型。通过torch.compile + CUDA Graph，在不损失精度下实现text decoder模块2倍、vocoder模块30倍加速，端到端推理2.7倍加速。