「推理缓存优化」共找到 3061 篇相关文章
谷歌开源Gemma 3n：2G内存就能跑，100亿参数内最强多模态模型
本周五凌晨，谷歌正式发布、开源全新端侧多模态大模型 Gemma 3n。它有多模态设计、专为设备端优化等特性，核心是 MatFormer 架构，还采用了 PLE 技术等，在多方面实现质量提升。
Databricks × Snowflake 纷纷下注，PostgreSQL 成 AI 时代数据库标准？
文章结合作者对数据基础设施的实践与反思，探讨生成式AI时代数据系统的挑战与机遇。介绍数据基础设施新趋势，分析Neon、Supabase等公司受关注原因，指出PostgreSQL成行业标准，还提出Data Warebase概念及优势和应用场景。
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
10个小模型并联跑赢GPT-4.1！无额外训练，方法仅4步
上海人工智能实验室等机构提出Avengers框架，无需额外训练，通过四步集结小模型优势。实验表明，其在15个数据集上平均得分超GPT - 4.1，还探究了框架有效的要素，对AI研究和开源社区意义重大。
Claude 4破解困扰人类4年系统bug，30年码龄程序员200小时没搞定，GPT-4.1/Gemini-2.5也做不到
30年码龄程序员4年没搞定的顽固型‘白鲸bug’，Claude Opus 4配合Code模式，用30个prompt+1次重启，几小时就破解。此前GPT - 4.1等模型都失败，凸显Claude编程与推理能力强。
AI编码新神登基，藏师傅一手Claude 4实测
Claude 4低调发布，Anthropic称Claude Opus 4是全球最佳编码模型。发布内容含扩展思维、新模型能力等，还公布定价。Claude Opus 4编码和记忆能力强，实测表现出色，Claude Sonnet 4也有提升且免费。
Veo 3全网实测惊艳所有人！DeepMind CTO：规模是AGI全部吗？
谷歌推出视频生成模型Veo 3，一句提示词就能打造电影质感短片，还能音画同步，引发网友惊叹。DeepMind CTO在访谈中表示，规模非AGI唯一要素，还提及Deep Think模式及Veo 3进展等。
北大校友、OpenAI前安全副总裁Lilian Weng关于模型的新思考：Why We Think
北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算研究进展，探讨激励模型思考方式，介绍思维链、并行采样、序列修订等策略，还提及强化学习、外部工具使用及未来研究方向。
实测腾讯Hunyuan-Image2.0，首个毫秒级实时图像生成模型
今天上午腾讯发布混元图像2.0，以“更智能、更开放、更中国”为理念。其参数规模提升，推理时间大幅压缩，实现毫秒级实时生成，还在画面质量等方面升级，新增实时绘画板功能。
产品经理从0开始做网站，3个月时间实现每天从谷歌获取流量破千
Andy从产品经理转型为独立开发者，仅用3个月时间就实现了网站日点击破千。他通过不断优化产品、调整SEO策略、增加外链，最终在谷歌搜索中获得了显著的流量增长。