搜索：开源推理模型

「开源推理模型」共找到 9140 篇相关文章

打破视觉Token的算力诅咒，RedundancyLens如何为多模态大模型推理减负

多模态大模型的 Decoder - only 架构处理视觉 Token 有计算冗余。合合信息团队提出无需额外训练的动态计算削减方法，在不影响性能前提下降低推理成本，适用于多场景。

现有大语言模型处理复杂指令能力不足，腾讯优图研究团队提出激励推理方法。该方法能提升LLM处理复杂指令表现，在1.5B参数LLM上性能提升11.74%，媲美8B参数模型。

Anthropic宣布开源电路追踪工具，可追踪LLM神经元，通过生成“归因图谱”揭示模型输出原因。开源了生成图谱的库和交互式前端，并提供demo notebook。可追踪电路、可视化图谱、检验假设。

长三角洲AI实验室、中科院、理想汽车等找到大语言模型硬件协同设计寻优之路，在相同延迟下降低端侧模型困惑度，压缩模型架构挑选时间。研究揭示缩放定律，打造硬件感知建模框架，找到精度与延迟最优解。

第三方语音合成API成本高、有隐私风险，直接部署开源模型配置复杂。开源的Chatterbox-TTS-Server基于Chatterbox TTS模型，有Web界面、声音克隆等功能，支持GPU和Docker，可解决部署难题。

香港大学、香港科大与腾讯ARC Lab联合提出SCoPE，让视频模型处理位置关系的基底从张量网格转向射线空间。它将相机射线坐标注入Video DiT，新增参数不到原模型0.1%，多方面表现获改善。

随着扩散大语言模型成为热门，但其推理时存在预设固定长度的限制。香港中文大学 MMLab 等提出 DAEDAL，赋予模型根据问题自主调整回答长度的能力，在性能和计算效率上有提升。

今天凌晨OpenAI开源大模型GPT-oss，有1200亿和200亿两种参数，支持商用。它针对AI Agent训练，功能丰富。训练耗时超200万小时，测试表现出色，架构设计也有亮点。

蚂蚁开源发布《2025 ⼤模型开源开发⽣态全景与趋势》报告，涵盖 19 个技术领域 135 个项目，解读七大趋势。当下大模型开发生态如黑客松，项目兴衰快速，AI Search 式微、AI Coding 火热，三大技术领域也有变化。

OpenAI联合创始人Sam Altman警告美国可能低估中国AI进展，出口管制难限中国发展。他称中国在多层面有进展，美国政策难跟上技术现实。此外，中国开源模型如DeepSeek促使OpenAI发布开放权重模型。