「推理硬件」共找到 2489 篇相关文章
为什么BF16的FlashAttention会把训练「炸掉」？清华首次给出机制解释，用极简改动稳住训练
社区里长期存在的FlashAttention+BF16训练GPT - 2时loss突然爆炸的问题，清华团队论文给出机制解释。指出是特定条件下数值偏置被放大所致，还给出极小修改稳定训练，且在多模型和硬件上验证有效。
社区供稿丨Ring-2.5-1T，思更深，行更远
今天发布并开源万亿参数思考模型 Ring-2.5-1T，在生成效率、思考深度、长程执行上大幅提升。与其他模型对比，在高难推理和长程任务执行达开源领先。介绍架构优势、手搓案例，也提及不足与未来计划。
哈工大系闯出人形机器人黑马：成立不到一年，全栈开源3m/s原型机，小米商汤都投了
1月15日，萝博派对在GitHub全栈开源双足人形机器人“萝博头原型机”，其跑步速度达3m/s。该开源含硬件、软件等多方面，直击开发痛点，还启动共创计划，已获小米等投资，目标降低具身智能开发成本。
求稳的安全IP，安谋科技如何守正出奇？｜甲子光年
12月24日，安谋科技推出新一代SPU IP——“山海” S30FP/S30P，给出面向高性能计算芯片的全栈安全解决方案。该方案从硬件IP层、软件中间件到云端服务构建一栈式安全防护体系，有五大核心亮点。
小模型大作为！微博的VibeThinker-1.5B超越DeepSeek R1等头部大模型
近年来，“参数越大，能力越强”成行业共识，但带来成本高和资源集中问题。微博AI团队开发的VibeThinker - 1.5B用1.5亿参数和低训练成本，在多项测试中超越头部大模型，还提出SSP框架和MGPO算法。
美团新独立APP，点不了菜只能点AI
美团新开源LongCat-Flash-Omni模型，支持多模态，在全模态基准测试达开源SOTA水准，推理快且全模态能力强。实测交互体验丝滑，其迭代逻辑清晰。该模型成功源于架构创新，美团靠软硬件结合实现虚实连接。
小白必读：到底什么是FP32、FP16、INT8？
文章介绍FP32、FP16、INT8等数字存储格式类型。指出它们是评估算力前提，不同格式在精度、范围、内存占用和计算速度上有差异，还提及多精度与混合精度计算，以及不同硬件对格式的支持情况。
GEO中，llms.txt是个啥？
GEO中llms.txt是新兴网络标准提案，分提案A（访问控制）和提案B（推理指导）。提案A类似robots.txt，控制内容用于模型训练；提案B是Markdown文件，助LLM理解网站。作者整理指南分享，盼业内出标准。
GPT-5编程专用版发布！独立连续编程7小时，简单任务提速10倍，VS Code就能用
OpenAI推出GPT-5-Codex特化版模型，支持独立连续编程7小时，有IDE插件版。新模型有“真·动态思考”能力，简单任务提速10倍，复杂任务推理更久。还重构了Codex产品体系，升级IDE扩展等。
沉寂一个月，openPangu性能飙升8%！华为1B开源模型来了
华为发布专为昇腾端侧硬件打造的openPangu Embedded - 1B模型，仅10亿参数却性能卓越。它运用多阶段训练和优化，在权威基准表现亮眼，V1.1平均分较上月跃升超8%，还介绍了背后技术。