「显存压缩」共找到 286 篇相关文章
刚刚,OpenAI开源了两个大模型~
OpenAI开源基于GPT - OSS的安全推理模型GPT - OSS - Safeguard - 120B和GPT - OSS - Safeguard - 20B,用于安全用例。有安全推理训练、自带策略等亮点,适配不同显存,采用宽松许可证。
OpenAI 智能体工程指南:10 条实战技巧和 3 种构建模式
OpenAI 给出智能体工程实战手册,介绍用技能、Shell 工具和上下文压缩三 API 让智能体稳定工作。全文涵盖概念、10 条实战技巧、3 种构建模式,有实用案例但数据精确度存疑。
本周 5 个超酷 GitHub 开源项目,实用到飞起!
本文介绍本周5个超酷GitHub开源项目。有显示苹果设备电池状态的AirBattery,开源卫星可视化平台keeptrack.space,本地图片压缩工具Pic - Smaller,跨平台端口助手Port - Killer,轻量级AI证件照工具HivisionIDPhotos。
老黄新鲜一刀,RTX 5050正式官宣
英伟达官宣RTX 5050桌面/笔记本GPU,7月上市,国内2099元起。它搭配DLSS 4技术,性能提升显著,但显存“新旧混搭”。网友大多不太买账,认为能耗高、性价比低。
Cloudflare 构建了面向 LLM 的高性能基础设施
Cloudflare发布全新基础设施,可在全球边缘网络运行大型AI大语言模型。它将模型输入处理与输出生成拆分,自研Infire推理引擎,还推出Unweight模型压缩系统,分享提示词缓存优化方案。
干翻全场!OpenAI深夜发布通用Agent。
OpenAI 发布 ChatGPT Agent,将 Operator 和 Deep Research 能力融合,能在虚拟电脑完成复杂任务。它功能强大亮点多,但也存在价格昂贵、安全隐患等问题,或压缩创业公司空间。
有人只用API就猜出了GPT、Claude、Gemini的参数量?社区吵翻了
研究人员李博杰在arXiv发布论文,提出“不可压缩知识探针”评测框架,仅通过黑盒API调用逆向估算LLM参数规模,给出GPT-5.5等模型参数量估算,引发社区广泛讨论与争议。
Attention Sink产生的起点?清华&美团首次揭秘MoE LLM中的超级专家机制
清华和美团研究聚焦MoE LLM,首次发现超级专家子集。通过多模型实证分析,揭示其分布规律、重要性及对注意力机制的影响,开发识别工具,为模型压缩提供新方向。
源神阿里!图像生成Ovis-Image再开源,7B小参数媲美GPT-4o和20B开源模型
阿里Ovis团队发布Ovis - Image,7B参数文本到图像模型,在文本渲染任务媲美GPT - 4o和20B + 开源模型。它架构优化、数据工程精细、训练范式独特,实测数据表现佳,显存占用低、推理快。
使用 Claude Code:会话管理与 100 万 上下文
本文是 Claude Code 的产品使用指南,介绍了其新更新的 /usage 命令,阐述了上下文、压缩、衰减等概念,还给出会话管理建议,如何时开新会话、用回溯替代纠正等,助用户用好该工具。