「GPU推理」共找到 2392 篇相关文章
万亿思考模型新速度！蚂蚁开源Ring-2.5-1T：IMO金牌水平，强；混合线性架构，快！
蚂蚁集团发布全球首个开源混合线性架构万亿参数模型Ring - 2.5 - 1T，打破深度思考牺牲推理速度和显存的‘不可能三角’。还同期发布扩散语言模型LLaDA2.1和全模态大模型Ming - flash - omni - 2.0，想做成可复用底座。
万字实录：VLA 范式，具身智能的曙光与迷雾丨GAIR Live
2025年5月9日，雷峰网等举办“具身智能之VLA的实践与突破”线上圆桌沙龙。多位专家探讨VLA定义、起源、技术路线等，指出其面临推理、数据等瓶颈，还讨论了与强化学习结合、数据选择、提升泛化性、长程任务及落地场景等问题。
Life of a Token：像调试代码一样看懂大模型如何生成 Token
文章类比 Chrome 的 Life of a Pixel，追踪 LLM 里 token 从输入到输出的全程。以 GPT - 2 Small 为例，详细讲解其管线各阶段，如 Tokenization、Embedding 等，还介绍了残差流、KV Cache 等概念及 GPU 性能瓶颈和优化方法。
百芯竞逐，芯片产业的“新战国时代”
ASIC发展超预期，成AI竞争胜负手。它适配大厂专属需求，成本与功耗低，出货量和市场规模将扩容。英伟达GPU虽难替代，但份额会被ASIC蚕食，谷歌TPU已撕开其垄断裂缝，大厂纷纷自研ASIC。
万亿级思考模型，蚂蚁首次开源！20万亿token搅局开源AI
10月14日蚂蚁集团发布万亿参数思考模型Ring-1T，在多领域表现出色，推理能力直逼闭源巨头。此前已开源旗舰通用大模型Ling-1T。还介绍了训练技术创新，虽模型有不足，但开源夺冠证明‘思考力’可工程化。
天使轮数千万元融资，这家公司想成为 AI 时代用户的安全执行顾问
主打认知安全的缔零科技获数千万元天使轮融资，资金用于「缔零法则」技术迭代等。其产品以AI治理AI，降本增效。公司曾推「缔零智数」，现「缔零法则」把控模型推理。未来有ToC计划，想成用户安全助手。
中科院类脑大模型SpikingBrain，2%数据，百倍速度
中国科学院自动化研究所李国齐、徐波团队发布全球首款大规模类脑脉冲大模型SpikingBrain 1.0。它处理长文本比主流Transformer模型快超百倍，训练数据仅为2%。该模型采用新架构，降低计算复杂度，还可转换现有模型，且在国产GPU完成训练。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。
警惕全球“最大”芯片IPO的暴雷风险
Cerebras 5月14日上市成2026年迄今全球最大IPO。其核心产品WSE工程有突破，但良率计算方式与传统不同。训练未成功，推理找到新机会。与OpenAI超200亿美元合同背后是股权换订单，财务数据也有隐忧，上市后存诸多疑问。
9B“小”模型干了票“大”的：性能超8倍参数模型，拿下23项SOTA | 智谱开源
智谱发布并开源仅9B大小的模型GLM-4.1V-9B-Thinking，在28项评测中拿下23个SOTA，成10B级别最佳VLM模型。它引入思维链推理机制，通过课程采样强化学习提升能力，还获10亿投资。