低精度计算」共找到 1785 篇相关文章

开源动态8

国产模型新盛况!王座易主:Kimi K2 Thinking开源超闭源

月之暗面开源 Kimi K2 Thinking 模型,多方面性能超 GPT - 5 等闭源模型。它擅长多轮调用工具和持续思考,在多项基准测试达 SOTA 水平,成本且授权宽松,引发全网讨论。

机器之心
算法论文8

推翻「预测下一个token」范式!微信AI新研究:把token压缩成连续向量更具性价比

微信AI和清华团队提出新范式CALM,把token打包成连续向量,让大模型从预测下一个token转变为预测下一个向量。实验表明它能减少生成步骤,在平衡性能和计算成本时性价比更高。

量子位
开源动态7

梳理SGLang中DP Attention及其Padding问题

作者梳理SGLang中DP Attention及其Padding问题。介绍DP Attention背景、流程,指出padding分max和sum模式,旧版sum padding浪费计算、影响cuda graph使用,v0.4.10后有优化,max padding仍待完善。

GiantPandaLLM
新闻资讯7

在参与OpenAI、Google、Amazon的50个AI项目后,他们总结出了大多数AI产品失败的原因

Aishwarya Naresh Reganti 和 Kiriti Badam 参与超50个企业级AI产品构建。他们指出,如今AI产品构建成本降,但多数仍失败。还分享开发陷阱与路径,如从自治高控制起步、建立CC/CD框架等,也对AI未来发表看法。

InfoQ
产品应用8

1美元时薪?这才是打工人的「梦中情模」

Anthropic 的 Opus 4.6 好用但贵,MiniMax 推出 M2.5 与之抗衡。M2.5 在多方面表现卓越,参数量小,成本,推理速度快,还经实测能成打工人得力助手,其背后有独特训练体系。

机器之心
算法论文8

斯坦福、英伟达和伯克利提出具身Test-Time Scaling Law

斯坦福、英伟达和伯克利团队提出具身Test - Time Scaling Law。研究发现推理时增加计算量可提升VLA模型性能,揭示动作误差与采样数量幂律关系,还探讨关键问题,给出方法,实验证明结合RoboMonkey能显著提升性能。

机器之心
推荐文章8

CUDA-MODE第77课课程笔记:用于GPU kernels的DSL

该课程笔记由Tri Dao介绍GPU kernel开发的DSL生态,涵盖PyTorch、Triton、Cute - DSL等。提出计算效率评估公式,对比不同DSL在Softmax、GEMM等操作的性能。还提及其他DSL工具与Triton扩展项目,并给出使用建议。

GiantPandaLLM
算法论文8

POF | 西交大陈泽伟、陈刚等:面向可变形域非周期非定常流动的几何自适应时空深度学习框架

西交大陈泽伟、陈刚等人提出ViT - STFlowNet框架,用于可变形域非周期非定常流动预测。该框架融合自适应网格变换与ViT架构,克服传统方法局限,测试显示预测精度高、泛化能力好,为飞行器流场感知控制提供工具。

力学与人工智能
新闻资讯7

谷歌 DeepMind 发布机器人学基础模型 Gemini Robotics On-Device

谷歌 DeepMind 推出 Gemini Robotics On-Device,这是视觉 - 语言 - 行动基础模型,可在机器人硬件本地运行,延迟且能针对特定任务微调。它是 Gemini Robotics 家族最新迭代,还发布相关基准测试。模型待广泛可用,SDK 可在 GitHub 找到。

InfoQ
算法论文8

想知道你的LLM API被过度收费了吗?隐藏的Tokens终于可以被审计了

马里兰大学CASE Lab团队研究商业不透明大模型服务(COLS),定义其风险,提出三层审计蓝图。还推出验证框架CoIn,能高效识别token数量膨胀,有可定制性且审计开销,为构建信任提供技术支撑。

机器之心