「推理之王」共找到 2698 篇相关文章
千星项目LLMRouter:多模型路由,16+策略优化推理
UIUC开源智能模型路由框架LLMRouter,可自动为大模型应用选最优模型,有16+路由策略。该框架打通训练、评测等链路,解耦Route与Training模块,支持多轮协同等,还可插件式扩展。
DeepSeek又拿第一!首创「因果流」视觉推理,超越Gemini
DeepSeek开源DeepSeek - OCR2,引入DeepEncoder V2视觉编码器,打破传统模型扫描限制,模仿人类视觉「因果流」逻辑。它解决了传统VLM忽略图像语义结构问题,在多项测试中表现出色,还验证了「LLM作为视觉编码器」可行性。
RTP-LLM 在相关性大模型中的推理优化最佳实践
淘宝搜索场景引入大参数LLM模型,面临系统性能挑战。本文分享基于RTP - LLM框架的优化实践,如大BatchSize调度、批次内前缀复用、MoE Kernel动态调优等,还提及未来优化方向。
谈一谈TP推理场景下MoE Group GEMM的优化思路
作者在使用H20测试SGLang CUTLASS MoE时,发现其在中小Batch Size场景下性能不佳。为此设计Expert Specialization方案,启动多个不同配置Kernel,依Expert计算特性选合适的。还介绍了该方案在H20和Hx00上的实现细节及性能测试结果。
微前端:迈向现代化前端架构的社会技术之旅
文章指出微前端不仅是技术模式,更是组织工作新范式。介绍其适用场景、演进现有系统方法,处理路由等跨领域问题策略,还强调它能让前端独立于后端现代化,实现渐进式变革。
特斯拉造出终结者之手!马斯克要挣1000000000000美元
特斯拉股东大会通过近万亿美元高管薪酬方案,马斯克若10年内让市值达8.5万亿美元等,可获奖励。会上展示人形机器人,其明年量产。此外,FSD技术优,还在研发AI芯片,虽有反对声,但股东多相信马斯克。
2025乌镇峰会看点:人工智能,中国数字世界秩序之巅
2025年世界互联网大会乌镇峰会是战略转折点,议程、展览等聚焦AI,从宽泛论坛变为展示AI驱动发展模式平台。报告剖析议程架构、战略差异,评估其对全球AI格局等多方面的影响。
文心新出的推理大模型,给了我们信心
在 WAVE SUMMIT 2025 大会上,百度发布文心大模型 X1.1,是 X1 升级版,发布即上线可免费体验。它在事实性、指令遵循、智能体等能力显著提升,全方位测评表现出色,还开源新模型,展现百度全栈 AI 实力。
Nano Banana 邪修之王最强科研成果!教你自定义生图比例!
Nano Banana 出图有分辨率低和比例不可控问题。作者发现用垫图方式可控制其生图比例,已生成图片也适用,还给出操作方法、提示词,介绍不同平台效果及案例图下载方式。
万字解码 Agentic AI 时代的记忆系统演进之路
文章深入探讨 Agentic AI 时代记忆系统,介绍记忆对智能体的重要性、人脑与智能体记忆的定义分类及操作,还分析 Memory Bank、LETTA 等多款产品实现,总结技术演进趋势,最后提及 Tablestore 的优势。