「通用混合场景」共找到 2744 篇相关文章
jiSGLang集成ktransformers：2TB内存运行Kimi K2 Thinking模型
对于内存多但GPU资源有限的用户，SGLang集成ktransformers的CPU内核，支持直接运行Kimi K2 Thinking模型。它无需等量化，还能微调，虽性能与GPU方案有差距，但给用户新选择。
让本地大模型不再重复推理的缓存技巧
本地跑大模型时，同样问题换说法问，模型又要重新推理。`constraint-cache`这个Python库可解决此问题，它将语义相似查询规范化为统一缓存键，实现近乎即时的重复查询响应，还避免了随机性响应问题。
大涨240%，Doc-Researcher确立多模态文档深度研究新范式
在ChatGPT引领的AI革命中，大语言模型面对专业复杂文档常“束手无策”。Doc-Researcher提出三位一体解决方案，构建M4DocBench评测，性能远超现有方案，还适用于多产业场景。
开源半自动化交互工具
Automat 目标是半自主玩各种游戏，是构建通用计算机交互环境首步。目前功能限于键盘宏录制和回放，不稳定。它是进行中的项目，路线图有激进新功能。文中介绍下载、运行方法及项目地址。
老黄玩Nano Banana上瘾，拉着哈萨比斯大夸特夸，“不会有人不喜欢吧？”
英伟达CEO黄仁勋公开宣称是Nano Banana的忠实粉丝，还向DeepMind CEO哈萨比斯大夸特夸。他也常用多种AI工具处理事务，提升效率。Nano Banana有新玩法，让Gemini走红，拉下ChatGPT下载量榜首。
刚刚，Anthropic 发布首个美国 AI 经济指数报告。结论：越有钱的，用得越多！
Anthropic发布首份美国AI经济指数报告，发现人们将完整任务交给Claude比例大幅上升，各地AI使用受经济结构影响，GDP高的国家和地区使用率更高，且自动化使用占比上升。
从BM25到Multi-Vector：6种Embedding演进路线
文章介绍6种Embedding演进路线，包括Sparse、Dense等，分析其特点、痛点、效果和案例，还给出选型建议，如关键词匹配选Sparse，长文本定位选Multi - Vector，也提及方案选择步骤。
Claude封锁中国，腾讯带着国产AI编程工具CodeBuddy来了
Claude封锁中国背景下，国产代码模型加速发力。腾讯CodeBuddy上线，其IDE和CLI有新特性。InfoQ采访团队，探讨定位、技术等思考，国产模型与工具、生态形成“模型—工具—生态”链路。
Meta超级智能实验室首篇论文：重新定义RAG
Meta超级智能实验室首篇论文提出REFRAG框架，重新定义RAG。它通过“压缩、感知、扩展”流程优化LLM处理外部知识方式，最高将首字生成延迟加速30倍，且性能无损。
王兴一鸣惊人！美团首个开源大模型追平DeepSeek-V3.1
美团首个开源大模型Longcat-Flash-Chat发布即引发热议。它在部分benchmark上超DeepSeek-V3.1等，编程能力也出色。技术报告透露美团对大模型的理解，还有新发现，且性能好、训练效率高。