「前缀和计算」共找到 7284 篇相关文章
微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失
微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。
预测下一个像素还需要几年？谷歌：五年够了
谷歌DeepMind研究者分析下一像素预测在图像识别与生成任务中的扩展特性。实验显示其扩展趋势与文本类似但效率低，最优策略因任务和分辨率而异，预计未来五年逐像素建模可行。
梳理SGLang中DP Attention及其Padding问题
作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程，指出padding分max和sum模式，旧版sum padding浪费计算、影响cuda graph使用，v0.4.10后有优化，max padding仍待完善。
前端同事看走眼了，这个“游戏网页”其实全是AI写的!
Kimi K2.5上新，集视觉理解、代码生成等能力于一体，提供四种使用模式，其中Agent集群模式提效显著。实测显示其网页生成、动效理解能力出色，下一代K3模型或用新架构KDA降低计算成本。
PolarDB Supabase Edge Functions - 让函数，随时可用
文章介绍 PolarDB Supabase Edge Functions，它是为全栈应用打造的边缘计算方案。提供 CLI 和 Studio 两种开发方式，补全开源版缺失的管理后台，让企业能兼顾功能与控制力，还提及数据库原生多模态智能检索方案。
AI 领域新动向！持续思考模型CTM横空出世：AI 向生物智能迈出重要一步
Sakana AI 推出新型 AI 模型 CTM，重新引入「时间」和「神经元动态」到 AI 计算核心。它有诸多创新，在迷宫探索、图像识别等任务表现出色，虽有训练慢等不足，但为 AI 向生物智能迈进提供新思路。
让AI作画自己纠错！随机丢模块就能提升生成质量，告别塑料感废片
来自清华、阿里等的团队推出S² - Guidance方法，通过随机丢弃网络模块动态构建子网络实现自我修正。它避免了其他方法繁琐调参，在文生图和文生视频任务中显著提升生成质量与连贯性，且计算高效。
Tool-Star：赋予大模型结合多工具推理的能力
文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。
英特尔连环炸：CTO被OpenAI挖走、中国区架构大调！陈立武亲自下场扛AI，称“不再提供空白支票”
近日，英特尔CTO兼AI负责人Sachin Katti离职加盟OpenAI，他负责搭建计算基础设施。此前其部门未达营收预期，英特尔多位高管出走。CEO陈立武亲自领导AI业务，还推进改革和中国区架构调整。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。