「低精度计算」共找到 1785 篇相关文章
如何利用pytorch memory snapshot进行显存分析
文章聚焦于用pytorch memory snapshot分析模型训推显存消耗，不讨论工具使用，侧重解读记录内容。以混合精度训练为例，介绍各步骤显存管理细节，还给出单层、双层模型及zero1训练的显存分析。
MCP进阶：一键批量搞定MCP工具部署
在AI应用复杂当下，传统MCP工具集成有痛点。文章提出基于阿里云计算巢的一站式方案，可多MCP工具批量部署，首创双通道调用能力，还介绍部署、使用、增减工具及问题排查等内容。
这个Coding Agent框架要火！Cursor、Claud太慢了
AI Agent赛道爆发，开发编码代理效率低。新出的jcode框架将Coding Agent功能整合，解决痛点，内存效率高、启动快、资源占用少，还能为开发者省80%底层开发时间。这是赛道成熟信号。
内存股集体大跌，原因竟是谷歌这篇一年前的论文
美国内存股集体暴跌，诱因是谷歌新博客介绍一年前公布的技术 TurboQuant。它是压缩算法，可大幅减少 LLM KV 缓存内存占用、提升速度且精度零损失，有望打乱市场对内存芯片增长预期。
2M大小模型定义表格理解极限，清华大学崔鹏团队开源LimiX-2M
大语言模型在结构化表格数据处理上表现不佳，清华大学崔鹏团队开源的 LimiX-2M 模型，仅 2M 参数，却能同时支持分类、回归等任务，性能超越经典模型，且训练、运行成本低，科研友好。
被轻视的巨大市场，大厂做不好的Local Agent为何难？| 甲子光年
文章指出大模型边际收益递减，AI竞赛规则生变，产业从‘参数竞赛’转向‘效率革命’。本地Agent有潜力，但主流产品体验差。GreenBitAI深耕低比特模型，推出Libra，有望撬开万亿美元增量市场。
最强开源0.9B级OCR模型！本地Agent、知识库都有救了！
百度飞桨PaddleOCR团队开源多模态文档解析模型PaddleOCR-VL，参数量仅0.9B，对算力要求低。它在OmniDocBench V1.5榜单屠榜，经测试，能精准识别发票、图表等，适合本地环境与资源受限设备。
1.58bit不输FP16！微软推出全新模型蒸馏框架，作者全是华人
微软推出蒸馏框架BitNet Distillation，实现几乎无性能损失的模型量化。它含三阶段，经实验在多下游任务表现近全精度模型，降内存开销、提推理速度，作者全是微软研究院华人。
重磅！DeepSeek R1论文经过同行评议登上Nature封面，梁文锋作为通讯作者再次创造历史
DeepSeek R1论文《DeepSeek - R1 incentivizes reasoning in LLMs through reinforcement learning》登上Nature封面，梁文锋为通讯作者。它是首个经同行评议的有全球影响力的LLM，训练成本低，创新使用‘纯粹强化学习’方法，启发众多研究。
Stream-Omni：同时支持各种模态组合交互的文本-视觉-语音多模态大模型
中国科学院计算技术研究所团队提出文本-视觉-语音多模态大模型Stream-Omni，能支持多种模态组合交互。它对各模态关系针对性建模，实现高效灵活的模态对齐，仅用少量语音数据就有多种交互能力。