「本地权限提升」共找到 3303 篇相关文章
性能最高提升7倍？探究大语言模型推理之缓存优化
文章探讨大语言模型推理缓存优化技术演进与未来展望，介绍了主流推理框架vLLM、SGLang，分析KV Cache、Paged Attention、Prefix Caching等技术的优化点，还提及LMCache、DeepSeek的缓存技术，最后提到MCP赋能可视化OLAP智能体应用。
MIT & Google | 提出异步并行生成新范式，LLM推理效率大幅提升！
MIT与谷歌团队在研究PASTA中探索异步生成范式，开发标记语言PASTA - LANG，采用双阶段训练流程，设计推理系统。实验显示PASTA平衡性能与质量，有可扩展性，为LLM推理效率优化开创学习驱动新路径。
Meta重返开源！30B本地Agent塞进24GB显存，LeCun火速力挺
Meta重返开源，推出开源模型Muse Glimmer，参数30B，经量化后一块24GB消费级显卡就能跑通，拥有完整Agent能力。Meta还预告Muse Spark 1.2开放权重版本将发布，扎克伯格称会恢复发布部分开放模型。
李飞飞团队新作：简单调整生成顺序，大幅提升像素级图像生成质量
长期以来，AI生图面临潜空间模型细节损耗、像素空间模型结构混乱速度慢的矛盾。李飞飞团队最新论文提出Latent Forcing方法，通过重排生成轨迹，让像素扩散模型找回效率并刷新SOTA。
推出 AnyLanguageModel：在 Apple 平台统一本地与远程大语言模型的 API
大语言模型是构建现代软件的重要工具，但 Apple 平台开发者集成模型困难。Hugging Face 发布 AnyLanguageModel，是 Swift 包，可替代 Apple Foundation Models 框架，支持多模型服务商，降低使用 LLM 难度。
Mistral 发布 OCR 3，提升了手写及结构化文档识别的准确率
Mistral 发布 OCR 3，在多种文档类型上精度更高，超越前一代产品。能提取文本、识别图像并保留文档结构，输出 Markdown 格式。早期用户认可其性能和多语言支持，生产部署扩展快，价格有优势。
不上云、不租卡，如何优雅地在本地微调Qwen-VL-30B？
文章指出企业训练多模态助手，30B 参数的开源多模态模型如 Qwen-VL-30B 是不错选择，但多模态场景下显存需求大。联想 ThinkStation PGX 解决了显存难题，还介绍其性能、优势、适用场景及服务等。
TEN VAD 开源：低延迟、高准确率，提升「语音 Agent」上限就靠它!
TEN-VAD是专为实时流式语音场景优化的开源模型，能解决语音交互中常见问题。它轻量级、跨平台、高性能、低延迟，获大佬背书，在多场景是必选组件，是语音交互里易被忽略却难替代的一环。
字节即梦张楠：帮人类提升创造力，才是更有意义的「目标函数」
在极客公园IF 2026创新大会上，张鹏与字节跳动即梦张楠探讨人与AI等内容。还放映AI短片《老妈的心愿》，全程由AI创作。张楠介绍合作计划，谈及创作挑战、AI与人关系、Sora与抖音差异等内容。
不想买几百刀的 ChatGPT Pulse？这款开源替代 + 本地部署可以白嫖试试
MineContext是开源跨平台桌面应用，可把电脑操作变成“上下文记忆库”。它能自动收集信息、生成总结和待办等。有自动截屏、生成总结等功能，使用体验好，适合常忘工作内容的信息工作者。