「事实和信念」共找到 6988 篇相关文章
昇腾910B大模型实测：开源框架能不能打？真相全放这了
文章对昇腾 910B 大模型进行实测，对比 vLLM Ascend 与 MindIE 在实际推理场景中的性能差异。通过 GPUStack 平台测试多种模型，结果显示两者在不同部署场景各有优势，vLLM 适合单卡小模型，MindIE 适合大模型多卡部署。
OCR-Reasoning：揭秘多模态大模型在复杂图文推理中的真实能力
主流OCR评测基准聚焦信息抽取任务，而图文推理任务缺乏系统性评估标准。OCR - Reasoning可系统性评估多模态大模型深度推理能力，还给出多种推理示例，并展示了测评Qwen2.5 - VL - 7B模型的代码。
图解Vllm V1系列6：KVCacheManager与PrefixCaching
文章聚焦vllm v1，阐述调度器取请求时判断设备有无充足空间做推理的问题，涉及KVCacheManager与Prefix Caching。前者管理请求和块，后者通过找最长一致前缀节省显存，还介绍块分配释放策略与流程。
MiniMax秀了波AI视频杂技：越看越惊艳，指令遵循太强了
MiniMax发布海螺2.0版本，能处理极端物理情况，原生支持1080P，在指令遵循、生成质量达一流水平，成本效率破纪录。此前还开源MiniMax - M1，两大底层技术创新让其成果惊艳，展现研发实力。
性能比肩DeepSeek-R1，MiniMax仅花380万训出推理大模型性价比新王｜开源
MiniMax开源推理大模型MiniMax - M1，原生支持100万token输入、8万输出，性能比肩DeepSeek - R1，仅花380万训成。采用Lightning Attention机制与CISPO算法，在多领域表现出色，模型权重可在HuggingFace下载。
2.4k star 开源项目，Wingman AI + 知识图谱，如何帮你搭建‘私人大脑’？学术/项目必备，让笔记真正活起来！
MindForger是桌面Markdown IDE，可构建私人知识体系。它能本地运行，掌控数据，有思考联想、知识图谱浏览等功能，能解决笔记混乱等痛点，适用于学术、项目管理等场景。
DeepSeek|从零构建轻量级vLLM：Nano-vLLM，吞吐量逼近原版，代码仅需1200行
开源的vLLM能提升LLM推理速度和资源利用率。近日，DeepSeek AI俞星凯从零构建轻量级Nano - vLLM，代码仅1200行。它有离线推理等功能，基准测试显示吞吐量逼近原版。
奥特曼：温和奇点已降临！AI最终掌控物理世界，2030年人类命运大转折
奥特曼在「温和的奇点」一文中称人类跨越AI发展「事件视界」，进入指数级加速阶段。他预测了未来5年技术时间线，还指出奇点悄然渗透，AI自转飞轮越来越快，人类迈向超级智能时代机遇与挑战并存。
浅析 rust 大明星 Tokio
本文剖析热门Rust库Tokio，介绍其优势与适用场景，从Rust异步着手，分析架构、调度生命周期，还对比Nginx，探讨绑核方法与未来方向，如支持IO Uring、扩展协议栈等。
Mamba 架构实现推理性能超 Gemma3-27B！推理模型开始迈入「无注意力」时代
PromptCoT - Mamba是首个具解码显存常量等特性且推理能力强的模型。当前推理大模型中注意力机制有局限，PromptCoT - Mamba实现无注意力推理，在多评测集超Transformer等模型，为无注意力推理生态奠基。