「内存安全」共找到 1135 篇相关文章
大模型推理加速全链路:内存管理、编译优化、量化与并行策略
本文整理自金煜阳博士在QCon大会分享。介绍大模型推理挑战,如规模增大、架构复杂。阐述算子优化、内存管理、量化、异构调度和并行优化方法,还介绍开源推理引擎赤兔在国产芯片的实践成果。
1899个MCP服务安全研究:7.2%存在漏洞,5.5%暗藏「工具投毒」
研究人员对1899个开源MCP服务器扫描,发现7.2%项目有漏洞、5.5%遭工具投毒。MCP虽成事实标准且发展好,但代码质量堪忧,传统安全工具难检测其风险,为生态敲响警钟。
内存直降50%,token需求少56%!用视觉方式处理长文本
在NeurIPS 2025论文中,南京理工大学等校研究团队提出VIST框架,为大语言模型长文本高效推理提供视觉解决方案。它模仿人类阅读机制,让模型具备选择性阅读能力,减少Token需求和内存使用。
本地版Jev 1G内存就能跑!四舍五入等于不要钱啊
Jev爆火一周后,开发者推出适配Apple MLX框架的Laya-MLX,是开源决策模型Laya的原生本地版,最低仅需不到700M内存即可在Mac运行,速度快准确率高,适合高频短决策任务。
随着 AI 内存需求推高非 AI 基础设施价格,OVHcloud 将上调服务价格
OVHcloud 将于秋季上调多数服务价格,主因是自 2025 年年中起内存与存储组件成本大幅攀升,创始人 Octave Klaba 认为是 AI 算力建设热潮挤占了普通服务器核心组件的晶圆制造产能。
iPhone断网跑35B多模态!国产开源新模型,只占3G内存
本文介绍面壁智能和OpenBMB最新开源的端侧多模态大模型MiniCPM-V 4.7,其35B-A3B版本总参数35B,推理仅激活3B,仅需3G内存即可在iPhone等手机断网流畅运行,性能领先同类模型,详解了其优化技术与行业价值
Agentic Deep Research新范式,推理能力再突破,可信度增加,蚂蚁安全团队出品
尽管LLM能力提升,但在复杂任务上受静态内部知识限制。业界提出Agentic Deep Research系统,不过现存系统有梯度冲突和奖励稀疏问题。蚂蚁安全团队提出Atom - Searcher,解决上述问题,实验效果良好。
OpenAI Atlas等AI浏览器暴露Web Agent安全风险!南洋理工破解底层机制
OpenAI Atlas等AI浏览器提升网页自动化效率,但使智能爬虫威胁加剧。南洋理工等团队研发的WebCloak,混淆网页结构与语义,打破爬虫技术依赖,为数据安全筑防线,适用于数据敏感场景。
当黄仁勋将存储定义为「AI运行内存」,基础设施该如何实现物种进化?
AI算力需求使全球内存市场疯狂,黄仁勋称存储技术需重构。XSKY星辰天合发布AIMesh方案,战略转向数据智能,其方案可破传统存储架构三堵墙,还坚持中立,助力企业数据转化。
老年代的“滞留对象”:一次由提前晋升引发的线上内存告警排查
文章以线上环境内存告警排查为例,介绍过程和思路。发现老年代因大量不可达对象占用且未触发FullGC致告警,排查出对象提前晋升是主因,还给出调整参数、减少对象产生等解决办法。