「推理硬件」共找到 2476 篇相关文章
GPT-5.4据传下周上线！200万上下文窗口+持久化状态，告别频繁遗忘
OpenAI工程师在GitHub仓库意外泄露GPT - 5.4，相关信息流传后被撤回。据传下周上线，其有200万Tokens上下文窗口与持久记忆，支持全分辨率视觉直读，将引发硬件内存之战。
AI失忆术！只需3个注意力头，就能让大模型忘记「狗会叫」
Meta和纽约大学团队发布论文《From Concepts to Components》，提出SAMD和SAMI方法。前者定位模型概念注意力模块，后者微调强度。能让模型‘失忆’，还可增强推理、控制安全，为AI研究开新方向。
OmniInsert：全新无掩码视频插入技术
基于扩散模型的视频插入技术发展快，但以往方法有局限。字节提出InsertPipe和OmniInsert，解决数据不足等难题。OmniInsert设计巧妙，还建立评测平台InsertBench，虽有小问题，但推理快，可加速优化。
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%
小米发布Qwen2.5VL升级版MiMo-VL，能力提升30%。它能完成输入视觉回答问题、做几何体等任务，重点解决多模态推理、视觉理解及与人类偏好对齐问题，介绍了模型结构、训练阶段等内容。
黄仁勋三次断言翻车！CUDA护城河，被谷歌一行代码凿穿
本文是新智元报道，基于SemiAnalysis的第三方测试，谷歌第七代TPU Ironwood推理性价比大幅领先英伟达最新B200、B300，谷歌通过软件重构打破CUDA护城河。
字节开源了一款多模态神器！BAGEL上线，超越Qwen2.5-VL，媲美SD3！
多模态AI发展进入新阶段，字节跳动开源通用多模态大模型BAGEL。它支持多模态输入输出与思维链推理，性能超Qwen2.5 - VL等，安装使用友好，有多种应用场景。
ClawdBot传疯了！视频教程来了
外网疯传的ClawdBot由开发者Peter Steinberger开发，能通过多平台交互干活。介绍其技术架构、两种设置方式、成本，还有安全设置、测试方法、进阶功能、使用场景及硬件选择等。
1200行代码逆袭！DeepSeek工程师开源轻量级vLLM，吞吐量逼近原版
开源 vLLM 可提升 LLM 推理速度和资源利用率。近日，DeepSeek 工程师俞星凯开源轻量级 Nano - vLLM，代码仅 1200 行，基准测试中吞吐量逼近原版，项目已在 GitHub 获 200 多 Star。
截击英伟达！OpenClaw狂吞Token，北大系芯片黑马剑指2000 Tokens/s
NVIDIA GTC 2026前夕，AI推理赛道竞争激烈。北大系寒序科技宣布融资，首颗样片测试跑通，单位面积带宽达100GB/s/mm²，下一代「MRAM+SRAM」架构目标2000 Tokens/s，挑战英伟达。
DeepSeek开源的文件系统，是如何提升大模型效率的？
2月28日，DeepSeek开源高性能分布式文件系统3FS以解决人工智能训练和推理挑战。介绍了分布式文件系统优势，深入解读3FS的组件、CRAQ协议等，还探讨其与其他系统差异及性能相关问题。