FP8精度」共找到 755 篇相关文章

新闻资讯7

Kubernetes 被 AI 打回“半成品”!K8s 之父发出警告:代码生成越快,程序员越危险

Kubernetes联合创始人Brandon Burns表示,AI让Kubernetes回到‘未完成’状态,它得适应GPU调度等新需求。他还谈到AI对编程工作的影响,如代码审查成核心技能,未来编程语言或为AI设计。

InfoQ
算法论文7

多模态大模型不会画辅助线?最新评估得分:o3仅25.8%,远低于人类82.3% | 清华腾讯斯坦福联合

清华、腾讯、斯坦福等团队发布RBench - V基准测试,评估大模型视觉推理能力。结果显示,主流大模型如o3、Gemini2.5等准确率远低于人类,开源模型表现更差,暴露出大模型在复杂多模态推理任务中能力不足。

量子位
开源动态8

三大核心创新公开,快手开源多模态Keye-VL 1.5拿下视频理解SOTA,8B力压GPT-4o!

快手开源多模态Keye-VL 1.5,为8B视频理解最强模型,公开3大核心创新技术。它靠Slow-Fast视频编码等,在20+基准屠榜。在多类基准测试和内部测评中表现优异,将业务经验沉淀到开源社区。

PaperAgent
8

华师大智金院孵化金融原生基模Mint-Agent:超越GPT-5.6与Claude Opus 4.8,商业订单已超亿元

华东师大智金院团队孵化的金融原生基模 Mint - Agent 发布,在 FinanceAgentBench v2 上表现超 GPT - 5.6 - Sol 与 Claude Opus 4.8,单题推理成本低,商业订单超亿元,进入规模化金融场景验证阶段。

机器之心
开源动态8

北大提出首个复数大模型,2比特量化,推理仅加法,可手机部署!

北大团队提出iFairy方案,将模型权重量化到复数集合,用2比特表示,压缩至原本1/8。推理仅需加减或交换数据位置,成本更低。Transformer架构“复数化”,iFairy模型PPL降10%,性能反超全精度,相关成果已开源。

量子位
新闻资讯7

内存股集体大跌,原因竟是谷歌这篇一年前的论文

美国内存股集体暴跌,诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法,可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失,有望打乱市场对内存芯片增长预期。

机器之心
算法论文8

极端天气也不怕漏检!RDA-YOLO:面向微小绝缘子缺陷检测的鲁棒动态自适应网络

文章指出传统绝缘子检测方法面临人工巡检效率低、小目标检测难等挑战,现有YOLO系列算法也有局限。为此提出RDA - YOLO网络,在YOLOv8基础上有三项创新,实验显示其精度、速度和极端天气鲁棒性表现出色。

机器学习AI算法工程
开源动态8

SGLang 优化Triton FusedMoE 的一个新技巧​

蚂蚁在SGLang中提交优化PR,针对Fused Triton MoE的Down Projection kernel加入TMA优化,在DeepSeek - R1模型的H200 TP8 prefill场景下性能提升显著,还详细分析了优化背景、思路、实现细节及测试结果。

GiantPandaLLM
产品应用7

Unsloth让大模型跑在手机上!

Unsloth放出教程,可将其微调模型部署到Pixel 8和iPhone 15 Pro。用ExecuTorch技术优化,Qwen2 - 0.5B在旗舰机上表现流畅。教程介绍量化感知训练控制精度损失,还给出iOS和Android部署步骤及注意事项。

AI工程化
产品应用8

0.3B参数,600MB内存!腾讯混元实现产业级2Bit量化,端侧模型小如手机App

腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit,参数量仅0.3B,内存占用600MB。它基于产业级2Bit端侧量化方案,生成速度提升,还通过多种方法提升能力,未来将探索新技术缩小与全精度模型差距。

量子位