搜索：大模型推理系统

「大模型推理系统」共找到 9021 篇相关文章

领先于Transformer！新架构首个1200万上下文模型SubQ，成本仅Opus的5%

Subquadratic公司提出SubQ模型，核心是SSA亚二次稀疏注意力机制。该机制改变注意力计算分配，让模型真正读长文档。SubQ是首个有1200万token上下文窗口的前沿模型，成本低、速度快，有望革新大模型扩展路径。

当前T2V技术迈向推理驱动阶段，物理规律是关键约束。匹兹堡大学团队提出PhyT2V框架，不依赖模型重训练或大规模外部数据，可增强主流T2V模型能力，有低落地门槛和良好泛化性。

OpenAI等支持新研究论文，其指出高级AI不透明性有潜在风险，而‘推理模型’用自然语言推理带来可解释窗口，CoT监控可检测不当行为、发现早期信号等，但也存在使监控性下降的因素。

2024年以来，RLVR使大模型在推理任务有显著突破，但实践中探索机制易失衡。传统熵正则化在LRM场景易走向极端，研究团队提出SIREN方法精准调控探索，实验显示其在多模型和数据集上性能提升显著。

AI产品黄叔作为月耗3000美金的Skills重度用户，实测MiniMax M2.7，从多Agent协作、Coding能力、办公自动化等多方面测试，发现其表现出色，虽有不足，但在多维度已是国产模型天花板。

大语言模型发展需海量高质量训练数据，传统人工标注困境重重，现有合成数据方法也有缺陷。Meta提出CoT - Self - Instruct，通过推理式自进化生成数据，实验证明其在多个任务上超越人类标注数据。

北航领衔联合近30家机构撰写《From Code Foundation Models to Agents and Applications》，系统梳理代码智能领域，串联模型、任务等成完整技术链路，还通过实验等给出实践指南。

硅谷Taalas将大模型‘物理焊死’进芯片引关注，而上海交大、辉羲智能与微软亚洲研究院团队用ROM+SRAM异构架构，将端侧LLM推理速度推至20,000 tokens/s。介绍了ROMA和TOM架构优势及应用场景。

香港多所高校研究团队提出 MoGraphGPT 系统，结合上下文感知模块化大模型与图形化控制，能让用户零代码搭建 2D 交互场景。该成果被 IEEE TVCG 录用，还对比实验验证其优势。

墨尔本大学等联合发布论文指出，移动端AI硬件和模型发展使MoAI成重要范式，但带来安全风险。论文给出统一框架，拆解系统为四层，定义三大安全支柱，梳理攻击、防御图谱等，还提出开放问题与未来方向。