搜索：小模型超越大模型

「小模型超越大模型」共找到 8258 篇相关文章

DeepSeek R1 的小更新，却大有深意？

5月28日，DeepSeek低调宣布R1模型小版本试升级，API接口和使用方式不变，但未公布具体更新内容。从用户反馈看，语义理解、逻辑推理等能力提升，实测表现出色。此次升级或有安全、产品路线等考量。

阿里发布全开源项目通义DeepResearch，在研究任务评测中表现出色，底层是30B的MoE专用推理模型，资源需求低。文章演示了基于该项目构建本地化端到端DeepResearch助理的方法，包括模型部署、Agent实现等。

华盛顿大学SyFI实验室提出LLMc，利用大型语言模型进行无损文本压缩。基准测试显示其压缩率优于传统工具，且项目已开源。不过，当前版本存在效率、吞吐量等问题，应用范围也主要在自然语言。

字节跳动Seed团队发布Seed 2.0系列模型，含Pro、Lite和Mini版。该系列在数学、代码、多模态理解等方面表现出色，价格优势明显，但在编程、事实准确性上与部分竞品有差距，已开放API。

近来，杨立昆计划离开Meta创立以‘世界模型’为核心的AI公司；此前李飞飞也发文指出大语言模型弊端，强调建立‘世界模型’重要性。该模型源于对大语言模型局限的反思，能让AI理解物理世界。

昨日，OpenAI、谷歌和Anthropic等发布新模型。Anthropic推出Claude Opus 4.1，虽性能提升不大，但编码能力获大客户认可。实测显示Claude - Opus - 4.1写代码稳，OpenAI新模型表现不佳。

文章围绕大模型LLM推理优化技术展开，先介绍LLM推理各阶段、批处理、KV缓存等概念及内存需求，再阐述模型并行、注意力机制优化、模型优化和模型服务等技术，如Pipeline并行、MQA、量化、动态批处理等。

元象作为AI与3D技术服务公司，此次开源XVERSE-Ent系列中英双语大模型。它采用MoE热启动技术与三阶段训练策略，解决泛娱乐场景痛点，适配多元语境，有高部署性价比，为行业提供泛娱乐AI解决方案。

月之暗面发布开源Kimi Linear架构，用新注意力机制首次超越全注意力模型。长上下文任务中，它减少75%的KV缓存需求，推理加速达6倍。核心创新Kimi Delta Attention有细粒度遗忘门控等特点。

京东发布JoyAI - LLM Flash模型，激活参数小、推理快。它采用混合专家架构等技术，在基础架构、数据加工、强化学习等方面表现出色，还通过多Token预测等技术加速推理，为商业场景落地扫清障碍。