「推理性能优化」共找到 4188 篇相关文章
55.9K star！微软硬核开源文档转换神器，LLM最佳拍档！
介绍微软开源的轻量级Python文档转换工具MarkItDown，它支持20+格式智能转换为结构化Markdown，专为LLM文本分析场景优化，解决开发者处理多格式文档痛点，还阐述其功能、技术架构等内容。
MiniCPM-o 4.5 技术报告发布：全双工全模态 API 开放，RTX5070 即可实时运行
面壁智能等发布 MiniCPM-o 4.5 技术报告，开放全双工全模态 API。该模型 9B 参数，RTX5070 可实时运行，下载量超 25 万。报告披露 Omni - Flow 框架，模型性能强，还能催生新应用。
8家国产芯无缝衔接DeepSeek-V4，中国AI算力生态的拐点来了！
4月24日DeepSeek-V4预览版发布，华为昇腾等八家国产AI芯片厂商同日完成全链路适配与性能优化。这得益于FlagOS开源软件栈，也因DeepSeek主动适配策略。后续竞争将转向软件生态完整度。
GPT-5.4发布：OpenAI首个大一统模型，简直是龙虾原生
OpenAI发布GPT - 5.4，这是其首个大一统模型，将推理、编程等能力融合，且单项性能领先。它在知识工作、计算机使用、编程调试等能力提升，定位AI数字员工，虽单价高但有省钱机制。
Chiplet（芯粒） —— 后摩尔时代的芯片“乐高”玩法
当单芯片逼近物理极限，Chiplet技术应运而生，它将大芯片拆分成小芯片，通过先进封装技术整合。该技术成本低、良率高，应用场景多元，但面临热管理、测试和标准统一等挑战，未来发展前景广阔。
DiT在数学和形式上是错的？谢赛宁回应：不要在脑子里做科学
X上有博主称DiT存在架构缺陷，其FID过早稳定，可能无法继续从数据中学习。还批判了DiT的设计，如使用后层归一化和adaLN - zero。DiT作者谢赛宁回应，强调做研究要基于实验，也指出DiT现存一些问题。
奖励模型也能Scaling！上海AI Lab突破强化学习短板，提出策略判别学习新范式
上海人工智能实验室提出策略判别学习（POLAR）新范式，解决奖励模型设计与训练瓶颈。POLAR可灵活适配多样需求，弥补传统奖励模型短板，契合强化微调框架，实验证明其性能和泛化性优越。
文心大模型 4.5 系列正式开源，涵盖 10 余款模型
6月30日，百度正式开源文心大模型4.5系列，含10款模型，实现预训练权重和推理代码全开源。可在飞桨星河社区等平台下载，百度实现框架与模型“双层开源”，技术创新多，性能表现优。
所有环节都上最强模型，这可能是做 AI 智能体最贵的错误
开源项目 AgentOpt 指出，很多团队做 AI 智能体默认把最强模型塞进各环节，既贵效果也未必好。真正决定智能体效果和成本的是将合适模型放合适位置，智能体需要能找最优解的模型优化器。
谷歌AI的“心脏”长什么样？读懂TPU就够了
文章介绍了谷歌TPU的发展历程，从2015年为解决AI计算效率瓶颈自研，发展到如今成为谷歌“经济支柱”。还对比了谷歌、英伟达、亚马逊的芯片路线，强调谷歌全栈垂直整合策略使TPU在推理时代优势明显。