「Triton推理服务器」共找到 2178 篇相关文章
测试的同学要起飞啦, Cursor / Claude 党福音:一个 MCP 服务器把 Android 真机接进你的对话框
DroidMind是开源MCP服务器,将Android的ADB能力结构化暴露给支持MCP的AI客户端。适合调试、测试等场景,能让AI执行设备操作,有设备管理、调试信息获取等功能,使用体验友好且安全。
GPT-6 真要来了!OpenAI全新推理架构“循环深度”首次曝光:可榨出14倍参数潜能
OpenAI将推旗舰模型GPT - 6(内部代号Astra),采用“循环深度”新技术,能榨出14倍参数潜能,降低成本,但会使AI推理过程不可读,加重安全担忧。OpenAI已因该模型“能力过强”踩刹车。
ICLR 2026|原生多模态推理新范式ThinkMorph ,让文字与图像在统一架构中共同演化
NUS、ZJU 等联合提出「ThinkMorph」,主张文字与图像在统一架构「原生协作」。仅用 2.4 万条数据微调 7B 统一模型,视觉推理平均提升 34.74%,多项任务比肩或超 GPT - 4o 和 Gemini 2.5 Flash,还涌现新能力。
面壁MiniCPM4端侧模型发布:长文本推理 5 倍提速,0.5B 模型拿下新SOTA
2025智源大会,面壁发布MiniCPM4.0端侧模型,含8B稀疏闪电版与0.5B款。其采用InfLLM架构,实现长文本推理5倍提速、最高220倍加速,还在性能、部署等方面优化,适配多芯片与框架。
带图推理碾压同类开源模型!港中文微软等开源OpenThinkIMG框架,教AI学会使用视觉工具
港中文、微软等联合推出OpenThinkIMG开源框架,解决AI使用视觉工具面临的集成难、缺数据、适应差等问题,还公开核心技术V - ToolRL。该框架在图表推理任务上表现超GPT - 4.1,为下一代AI智能体提供基础。
小扎AI眼镜当场死机,CTO自曝灾难级演示内幕:一个指令干趴自家服务器
小扎演示Meta智能眼镜Ray - Ban Display时翻车,AI助手回应异常、视频通话失败。CTO复盘,一是指令致多眼镜激活干趴服务器,二是时机糟的Bug。虽演示失败,但Meta仍豪掷千亿布局AI。
GPT-5内测抢先公布:日常推理首次击败人类,编程数学科学问题能力都很强
疑似GPT - 5发布预告刚出,内测体验抢先释出。网友实测其推理能力首超人类,编程、数学等能力也出色,虽提升或没GPT - 3到GPT - 4明显,但市场竞争激烈,8月8日凌晨OpenAI发布或为GPT - 5。
小米模型实现声音理解新SOTA!数据吞吐效率暴增20倍,推理速度快4倍 | 全量开源
小米全量开源MiDashengLM - 7B模型,它基于Xiaomi Dasheng和Qwen2.5 - Omni - 7B Thinker,实现声音理解新SOTA。性能领先,推理效率高,革新训练范式,全栈开源,将赋能多场景。
英伟达的局:狂撒15亿美元,从Lambda那租到了搭载自家AI芯片的GPU服务器
据The Information消息,英伟达与小型云服务提供商Lambda达成15亿美元合作,租赁其搭载自研AI芯片的GPU服务器。这并非首次,此前已对CoreWeave如此操作。目的是维护其在云计算市场的主导地位。
32k微调处理百万Token:21倍的推理加速,10倍的峰值显存节省,实现恒定内存消耗
现有大模型处理超长文档易内存爆炸、计算崩溃。阿里巴巴未来生活实验室推出CoMeT架构,有双轨并行记忆系统,能恒定内存、线性时间处理文本,在基准测试超主流方法,实现21倍推理加速和10倍显存节省。