「推理性能优化」共找到 4157 篇相关文章
吴恩达关注的Ling-1T背后，蚂蚁Ling 2.0技术报告解密万亿模型开源配方
AI导师吴恩达关注蚂蚁开源模型Ling-1T，其性能直逼闭源模型。蚂蚁集团通过《Ling 2.0 Technical Report》揭示技术配方，从架构、预训练、后训练对齐和基础设施四个层面构建推理模型，还分享失败教训，提供开源SOP。
12ms！一个仅8M的语音停顿检测模型
语音助手准确判断用户是否说完是挑战，Smart Turn将决策过程缩至12毫秒。其v3.1版有改进，新增数据集提升英语识别准确率，推出未量化版本推理更快，8MB模型性能优，已在HuggingFace开源。
调整训练数据出场顺序，大模型就能变聪明！无需扩大模型/数据规模
微软亚洲研究院提出全新文本数据组织范式DELT，通过引入数据排序策略，充分挖掘训练数据潜力，优化训练数据的组织方式，在不同模型尺寸与规模下都达到了良好性能，且不用增加数据量或扩大模型规模。
全网开测GPT-oss！技术架构也扒明白了
全网开测GPT-oss，它登顶开源模型王座，性能比肩o3-mini、o4-mini，适合本地推理。网友探索出多种用法，还推出Pro版。其架构也被扒出，官方介绍了微调方法，吴恩达等大佬也参与测评。
Cache Me If You Can：陈丹琦团队如何「抓住」关键缓存，解放LLM内存？
普林斯顿大学陈丹琦团队新论文聚焦长上下文语言模型 KV 缓存问题。传统 KV 缓存大小随输入文本长度线性增长，此前方法难公平比较。团队提出「KV 足迹」指标，改进方法并推出 PruLong 优化内存，节省空间且保性能。
Emu3.5：能够原生预测下一状态的多模态世界模型，媲美Nano Banana
北京智源研究院推出多模态世界模型Emu3.5，能原生预测视觉和语言下一状态。用超10万亿token数据预训练，后经强化学习训练。团队提出DiDA提升推理效率，其性能媲美Nano Banana，项目已开源。
iPhone 17 Pro居然能跑8B大模型！
iPhone 17 Pro竟能跑8B大模型，如Qwen3 - 8B，推理较流畅。作者换机一是因eSIM，二为拍视频。其认为AI普及需端侧落地，此机芯片性能是好信号，盼出优质iOS客户端。
社区供稿丨MiniCPM-V 4.5 技术报告正式出炉
上个月开源的多模态模型 MiniCPM-V 4.5 广受好评，今日其技术报告出炉。报告从架构、数据和训练三方面探索高效路径，提出三大技术，使模型在多任务上突破，小参数规模下性能和推理速度佳。
GPT-5通过“哥德尔测试”！独创性解决博士生都得花几天时间的开放数学问题
最新论文中，研究人员让GPT - 5挑战5个未解决的优化猜想，它解出3个，还对一题给出不同有效证明方案。测试题需博士水平研究者花几天完成，研究还“挑衅”了陶哲轩对大模型数学能力的印象。
日本AI王者，CTO是Transformer之父，刚拿下世界编程竞赛冠军
在ICFP 2025编程大赛中，日本Sakana AI的「Team Unagi」以人机共创模式夺冠。其AI系统「ShinkaEvolve」优化代码，性能提升近十倍，还启发人类思维。Sakana AI以自然进化为理念，探索AI新范式。