「低功耗」共找到 1009 篇相关文章
为什么 DeepSeek 大规模部署很便宜,本地很贵
文章探讨了DeepSeek-V3大规模服务便宜但本地运行贵的原因。指出推理服务存在吞吐量和延迟的权衡,受批处理大小影响。还分析了不同模型需大批次的原因,如专家混合模型、大型管道模型等。
480P的元宇宙入口:Midjourney不是在做视频,是在造"任意门"
Midjourney发布首个视频模型Video V1,它只能图生视频,操作便捷。虽分辨率仅480P,但采样率高。生成成本低,会员就能用。其美学表现好、生成速度快,不过在提示词理解等方面较弱。该公司有独特愿景。
Andrej Karpathy 盛赞!斯坦福团队新作,让Llama-1B 实现毫秒级推理
斯坦福Hazy Research团队将开源模型Llama - 3.2 - 1B前向推理整合为“Megakernel”,把推理延迟大幅降低,显存带宽利用率显著提升。团队指出当前主流LLM推理系统在小batch、极低延迟场景下低效,提出Megakernel以重构执行方式。
挑战 1 比特!ETH Zürich 秦浩桐:如何把大模型「塞进」小设备?| IJCAI 2026
IJCAI 2026大会上,秦浩桐给出创新解法,挑战无需重训的“后训练量化”极限,将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒,还指出极低比特量化的三大挑战。
从 Redis 到 Valkey,开源社区如何快速创新?
文章介绍了开源键值数据库 Valkey,它诞生于 2024 年 3 月,由 Linux 开源基金会托管,完全兼容 Redis OSS 7.2.4。Valkey 版本迭代快、性能提升、云厂商跟进、社区规模增长、迁移成本低。中国开发者在其中贡献突出,Valkey China 公众号也已上线。
神秘霸榜模型现真身:小米MiMo-V2 Pro,国内首个万亿参数+1M上下文,为Agent而生!
小米全新一代面向 Agent 的大模型家族官宣,包括 MiMo-V2-Pro Preview、MiMo-V2-Omni 和 MiMo-V2-TTS。MiMo-V2-Pro 性能优异,在多场景实测表现出色,技术有创新,API 开放且定价低,已融入小米多业务与生态。
全民拜龙?我看是大厂“套壳大战”搞疯了
OpenClaw是开源AI Agent框架,引发全民热潮,中国大厂纷纷推出套壳产品。国产套壳产品上手难度低,但也存在问题。傅盛基于此养出AI团队,猎豹移动市值涨24%。不过,OpenClaw存在安全问题,背后是Token入口争夺战。
MiniMax今早上市,股价疯涨80%!一群95后跑通了中国AI的价值
1月9日9:30,MiniMax于港交所上市,截稿时股价疯涨近80%。该公司仅用约5亿美元便让全模态模型进入国际第一梯队,员工平均年龄29岁。其以低投入、高产出及全球化业务,展现了中国AI的实力与潜力。
硅谷大佬带头弃用 OpenAI、“倒戈”Kimi K2!直呼“太便宜了”,白宫首位 AI 主管也劝不住
硅谷似乎正从昂贵闭源模型转向便宜开源替代方案。“SPAC 之王”Chamath Palihapitiya 团队将大量工作负载迁移至 Groq 平台的中国模型 Kimi K2,因其性能优且价格低。节目还探讨了中国开源 AI 模型给美国带来的压力。
英伟达新研究:小模型才是智能体的未来
英伟达最新论文指出,大模型在Agent任务中消耗大量计算资源,成本高、效率低、灵活性差,而小模型能在性能够用前提下让任务执行更经济灵活。小模型通过优化硬件资源和任务设计高效执行任务,但落地面临挑战。