搜索：推理性能优化

「推理性能优化」共找到 4184 篇相关文章

1万tokens是检验长文本的新基准，超过后18款大模型集体失智

Chroma团队研究发现，将上下文扩展至1万tokens，18款主流大模型集体“失智”，“智商”非均匀下降，在一些节点会断崖式下跌。研究还设计四项对照实验，证明LLMs性能随输入长度增加显著且非均匀下降。

阿里Qwen团队开源Qwen3.8-27B，上线2天登顶Hugging Face全球大模型趋势榜，下载破百万。其性能超Opus4.6，与顶尖模型相当，量化后普通电脑就能跑，原生多模态，编程、Agent、多模态跑分表现出色。

作者拿到 Hy3 模型测试资格，介绍其架构、性能和价格优势，还在 WorkBuddy 里实测它完成运营工作、选编辑助教、开发新功能等任务的效果，最后评价 Hy3 能力、价格、适配方面的表现，并分析 WorkBuddy 领先原因。

在AI Infra Summit上，英伟达宣布推出NVIDIA Rubin CPX GPU，专为处理百万token级代码生成和生成式视频应用。它是首款为超大上下文AI量身定制的CUDA GPU，性能强且能效高，预计2026年底推出。

昨晚ChatGPT宕机，OpenAI 2折甩卖o3模型并发布o3 Pro。o3 Pro编程能力强，达全球top150程序员水准。官方称甩卖的o3是原版但推理快近40%。o3使用成本高，还需足够上下文。

MonkeyOCR采用SRR三元组范式，简化多工具管道，避免整页文档处理低效率。与MinerU、Gemini 2.5 Pro等对比，性能表现优，处理速度达0.84页/秒，但对扫描件效果欠佳，架构含多模型，可通过特定地址测试。

5月28日，DeepSeek低调宣布R1模型小版本试升级，API接口和使用方式不变，但未公布具体更新内容。从用户反馈看，语义理解、逻辑推理等能力提升，实测表现出色。此次升级或有安全、产品路线等考量。

作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。

由陈天桥和代季峰联合发起的 MiroMind 团队，于 1 月 5 日发布自研旗舰搜索智能体模型 MiroThinker 1.5。该模型参数规模小但性能强，其核心是「发现式智能」理念，还采用了新训练技术，有 A 股涨停板预测等应用。

DeepMind掌门人Demis Hassabis在专访中谈到AGI发展，认为当前技术距AGI可能差一两个大突破，预计2030年左右实现。还探讨了记忆、Agent、推理等问题，提及开源、多模态等情况，展望了生物领域虚拟细胞等。