搜索：大模型推理系统

「大模型推理系统」共找到 9017 篇相关文章

AI能否「圣地巡礼」？多模态大模型全新评估基准VIR-Bench来了

来自日本高校和企业团队提出多模态大模型评估基准 VIR-Bench，用于评测 AI 对旅行视频中地理位置与时间顺序的理解。它将任务拆解，构建数据集，实验显示模型虽有改进但性能远未达标，指明了大模型进化方向。

大语言模型在结构化表格数据处理上表现不佳，清华大学崔鹏团队开源的 LimiX-2M 模型，仅 2M 参数，却能同时支持分类、回归等任务，性能超越经典模型，且训练、运行成本低，科研友好。

斯坦福Hazy实验室推出低延迟推理引擎「Megakernel」，将Llama - 1B前向传播融入单一GPU内核，H100上提速1.5倍，B200上每次推理仅0.00068秒，比vLLM快3.5倍。文章分析传统引擎问题并介绍Megakernel设计。

AICon2025上海站，GMI Cloud资深架构师Frank Lee分享《GMI Cloud全球化高性能分布式推理服务构建实践》，介绍其推理平台，拆解扩缩容等能力，分享架构设计、部署及优化实践，揭秘推理提效关键路径。

中关村论坛上，杨植麟、罗福莉、张鹏、夏立雪、黄超齐聚，共论agent的下一代演进。各位大咖观点硬核，如罗福莉认为中国大模型团队优势在‘算力受限下的最优解能力’，张鹏解释智谱新模型涨价原因等。

大语言模型手动调参解码繁琐，腾讯AI Lab王琰团队联合港中大（深圳）唐晓莹教授团队推出AutoDeco架构，通过创新训练策略让模型动态预测解码参数，在多模型实验中表现出色且已开源。

文章认为2026年多模态技术将有大发展，世界模型轮廓渐清。文中对比语言、视频生成模型，指出世界模型优势，分析实时视频与3D结构化两条路线，介绍不同公司产品并以四象限框架分类。

文章从神经网络入手，介绍其概念、学习过程，进而引出大语言模型，阐述其原理、训练方法，还提及AI浪潮下基础设施及大模型使用方式，如Agent、MCP等，展现神经网络和大模型发展现状与前景。

AI 进入医疗领域需谨慎，此前美国引入不成熟 AI 致手术失误频发。全球首个医疗视频理解大模型元智医疗视频理解大模型发布并开源，解决了医疗视频领域的任务优化、数据缺失和无法评测痛点。

北大与伯克利团队推出IDA - Bench新基准，模拟真实数据分析场景，解决现有基准无法评估大模型在动态交互中可靠性的问题。测试显示，顶尖大模型成功率最高仅40%，不同模型还暴露多种问题。