量化版本」共找到 595 篇相关文章

7

PyPI遭投毒!LiteLLM用户Python启动就中招,个人凭证秒泄露

PyPI被投毒,LiteLLM的1.82.7和1.82.8版本被植入信息窃取程序,安装后SSH密钥等数据会泄漏。该漏洞源于Trivy被篡改,攻击者借此发布恶意版本。已给出自检流程,供应链攻击或常态化。

量子位
开源动态7

京东发布业界首个/开源/高完成度/轻量化「通用AI智能体产品」。

京东跨界推出业界首个开源高完成度轻量化通用智能体产品JoyAgent - JDGenie。它开箱即用、轻量可自部署,内置多种子智能体与工具,还给出二次开发示例,有多层次多模式思维等创新点。

开源AI项目落地
新闻资讯7

Gemini新版蝉联竞技场榜一,但刚发布就被越狱了

谷歌深夜官宣Gemini 2.5 Pro推出新版本(0605),在代码、推理等任务表现提升,超o3,Elo评分也提高。但发布两小时就被越狱,还被指部分指标较早期版本退步。

量子位
新闻资讯7

Python新版本去GIL刷屏,Karpathy 点赞敢死队,Python 之父:冷静,别神话并发

Python 3.14 正式发布,将“去 GIL”写进官方发行版,带来自由线程支持等能力,预估性能提升 3% - 5%。开发者看好,Karpathy 点赞,但 Python 之父认为去除 GIL 重要性被高估,强调工程常识。

AI前线
产品应用7

Cursor 0.50 版本升级后如何省钱又高效?一份给开发者的避坑指南

本文围绕Cursor编程助手日常应用展开,讲解计费机制、工具调用等核心要点,结合实践给出高效使用方法论与避坑指南,如合理选模型、巧用工具、设置规则等。

阿里云开发者
开源动态8

阿里开源电影级AI视频模型!MoE架构,5B版本消费级显卡可跑

阿里开源新一代视频生成模型通义万相Wan2.2,含文生视频等功能。它率先将MoE架构用于视频生成扩散模型,5B版本可在消费级显卡部署。对比前代和Sora表现更优,还推出电影级美学控制系统。

量子位
推荐文章8

LightX2V fp4 quant kernel代码笔记

这是关于 LightX2V 里 `lightx2v_kernel` 做 FP4 量化 GEMM 的读码笔记,解释接口和约束、kernel 关键路径等问题,还介绍 NVFP4 和 MX-Formats 量化原理、代码实现,以及 LightX2V 项目中的实际使用。

GiantPandaLLM
开源动态8

AI 本地跑?Google 新开源模型上线,本地量化后占用不到 200MB 内存,支持百余语言

Google DeepMind推出开源嵌入模型EmbeddingGemma,专为本地设备高效运行设计。它用Matryoshka方法和量化感知训练,提升效率。在MTEB测试中成绩佳,支持百余种语言,内存占用少,已集成多种工具。

InfoQ
算法论文8

68页论文再锤大模型竞技场!Llama4发布前私下测试27个版本,只取最佳成绩

《排行榜幻觉》论文指出Chatbot Arena存在问题,如少数大厂私下多版本测试选最优、数据访问不平等、用Arena数据训练可提性能、模型被大量静默弃用等,研究团队给出改进建议,官方也进行了回应。

量子位
7

【博客转载】CUDA Vectorized Memory Access (文末送书)

文章展示如何用向量化内存访问提高CUDA函数有效内存带宽,实现朴素自定义设备内存拷贝函数,对比不同数据类型、大小及方法的性能,得出拷贝数据单元多、单元大及以8或16字节向量化单元拷贝可提升带宽等结论。

GiantPandaLLM