「低算力需求」共找到 2327 篇相关文章
谷歌创始人罕见反思:低估 Transformer,也低估了 AI 编程的风险,“代码错了,代价更高”
谷歌创始人 Sergey Brin 在斯坦福公开对话中反思,谷歌曾低估 Transformer 和 AI 编程风险。他认为 AI 写代码易出错,更适合创意类工作。还回顾谷歌发展,指出虽有研发积累,但曾投入不足,强调算法比算力更关键。
妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒
斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」,将Llama - 1B前向传播融入单一GPU内核,H100上提速1.5倍,B200上每次推理仅0.00068秒,比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。
AI开始替人类调用AI!token用量已是人类5.2倍
据OpenRouter统计,截至8月10日,Agent类token用量半年涨14倍,人类仅2.8倍。差距源于用法差异,虽智能体部分token计价低,但用量大仍烧钱。省钱关键在配套,且智能体任务验收缺人手。
马斯克的「移动客厅」又火了:20人座无方向盘,每公里才3毛钱
前段时间旧金山大停电,Waymo无人驾驶出租车趴窝,特斯拉汽车不受影响。网友翻出特斯拉Robovan视频,马斯克称其将改变街道面貌。该车20人座无方向盘,运营成本低,预计2027年量产,此外马斯克身价破7000亿美元。
AGI 新技术路线:下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术,用块间代表交流机制实现线性复杂度,兼具多种注意力机制优点,可满足宇宙尺度建模的上下文长度需求。
LLM加速利器LMCache,极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件,能降低首次响应延迟、提升吞吐量,适用于长上下文场景。它将KV缓存存于多级存储,跨服务实例复用任意重复文本的KV缓存,节省GPU算力,与vLLM结合优化显著。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调(CRFT)方法,通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性,能提高推理准确率,学习参数量低,还适应少样本场景。
5Y News | 祝贺曦智科技今日登陆港交所!
4月28日,曦智科技-P在港交所主板挂牌上市,成全球AI硅光芯片第一股。上市首日股价涨幅大,市值达813亿港元。其由沈亦晨创立,在光电混合算力领域领先,募资将聚焦主业研发。
GDPS 2025|宇树、智元首次同台,上海如何以「应用」领跑具身智能竞赛?
全球开发者先锋大会(GDPS 2025)是具身智能赛事检验场,它将赛场设在真实应用环境,以应用需求为导向推动技术落地。上海以应用和生态赋能推动具身智能产业化,构建产业闭环。
只有5%AI项目在挣钱!MIT最新报告印证奥特曼警告
MIT联合英伟达发布的AI商业分析报告显示,仅5%的AI项目能创造百万美元价值,其余在亏损。AI项目落地难,因工具与场景有差距,企业自研成功率低,投资也偏向前端职能。