「低比特量化」共找到 1169 篇相关文章
突袭Cursor，Windsurf抢发自研大模型！性能比肩Claude 3.5、但成本更低，网友好评：响应快、不废话
当地时间5月16日，Windsurf推出首个AI软件工程模型家族SWE - 1。此系列含三款模型，性能比肩Claude 3.5且成本更低。开发者试用评价不错，但也指出存在幻觉问题。Windsurf旨在提升软件开发速度，后续将持续投入。
超低延迟的端到端语音模型！首次生成音频仅需53ms，比同级别模型快3-5倍！
随着语音应用场景普及，语音大模型响应慢成瓶颈。VITA团队开源端到端语音模型VITA - Audio，7B参数模型首次生成音频仅53毫秒，比同级别快3 - 5倍，完全开源，有超低延迟等优势。
AutoDev 预上下文引擎：预生成代码语义化信息，构建 AI 编程的知识基座
文章介绍 AutoDev 预上下文引擎，指出向量化代码检索性价比低，提出用预生成上下文提升 RAG 效果。Context Worker 能深度解析代码，支持多语言，使用简单，还可结合 MCP 服务获取上下文知识。
什么情况，一夜之间冲上热搜，狂揽29.6k星，再见吧SQLite！这个嵌入式分析引擎实在太香了
DuckDB是嵌入式OLAP数据库，被赞“分析型SQLite”。它采用列式存储和向量化查询引擎，性能佳，功能多，适合探索性数据分析等场景，能替代Pandas等，成本低。
被轻视的巨大市场，大厂做不好的Local Agent为何难？| 甲子光年
文章指出大模型边际收益递减，AI竞赛规则生变，产业从‘参数竞赛’转向‘效率革命’。本地Agent有潜力，但主流产品体验差。GreenBitAI深耕低比特模型，推出Libra，有望撬开万亿美元增量市场。
VLM 实现 10%的精度提高，13.1倍加速！纽约大学新算法让视觉语言模型更小、更快、更准确
纽约大学研究团队用QSVD新方法让视觉语言模型（VLM）效率飞跃，在普通GPU上实现13.1倍加速。它将Q、K、V矩阵捆绑处理，设计秩分配策略，引入量化方案，经多模型评估，展现出低硬件成本、高精度优势。
OpenAI发布ChatGPT世代首个开源模型gpt-oss，4060Ti都能跑得动。
8月6日晚，OpenAI发布ChatGPT世代首个开源模型GPT - oss，有120B和20B两款。模型原生支持4 - bit量化，性能损失小，低配置显卡也能运行。跑分表现不错，还介绍了使用途径，虽有不足但改变开源社区格局。
DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜
DeepSeek提及针对国产芯片的FP8量化设计，引发对大模型量化策略关注。不久后英伟达发力低精度量化，将NVFP4策略拓展到预训练阶段，其方案能解决核心挑战，实验证明NVFP4在大规模训练中可行。
Pogocache：开源缓存软件实现低延迟并支持多传输协议
全新开源缓存软件 Pogocache 近日发布 1.0 正式版，主打低延迟与 CPU 高效能特性，支持多种主流通信协议，宣称比其他开源缓存方案有更高吞吐量和更低延迟。还介绍了其架构、应用场景等。
独立开发者必看，前端人想做低代码？先把这个 5k star 可视化拖拽编辑器 Demo 跑起来
`visual-drag-demo`是开源可视化拖拽编辑器Demo，偏前端与低代码方向。它把编辑器必备功能做成教学项目，适合想做搭建器、可视化配置等的人快速摸清实现方法，功能丰富，学习成本低。