「技术分析」共找到 3731 篇相关文章
记录下SGLang 开发,debug的几个技巧第二弹
作者BBuf继上次分享后,又带来SGLang开发、debug新技巧。包括开启多线程加载模型权重,介绍SGLang Serve模型短期和长期崩溃的调试方法,还提及逐层NVTX Profiling、查看固定batch_size下Decoding性能等技巧。
推理成本太高、算力不够用?单纯堆卡没用,得靠极致的“压缩”与“调度” | AICon
大模型落地面临推理成本高、算力需求大的问题。AICon大会上,阿里云刘峥、ModelTC龚睿昊、阿里巴巴马腾、OPPO宋晓辉、清程极智汤雄超等专家将分享从压缩到调度的推理优化方案,覆盖云到边缘、多算力平台。
Mistral 3发布,14B多模态小模型表现优异
Mistral AI第三代模型发布,含三个小型密集模型和稀疏混合专家模型Mistral Large 3,全用Apache 2.0许可。有多项技术亮点,Ollama等支持部署微调,还给出实用配置建议。
Ilya罕见发声:大模型「大力出奇迹」到头了
Ilya大神在近2万字采访中称,AI正从「规模时代」走向「科研时代」,主流「预训练 + Scaling」路线遇瓶颈。他还探讨了AI泛化、安全对齐、预训练范式等热门话题,给出独特见解。
Meta通过简单算术解锁LLM SoTA性能
大型语言模型训练耗算力与时间,传统模型融合方法有局限。本文提出SoCE新方法,通过筛选专家模型、非均匀加权平均融合,在多评测中实现先进性能,为LLM优化提供新思路。
AI 增强截图项目,爽歪歪~
日常截图后手动处理文字、公式、表格耗时又易出错。开源项目`Snippai`将截图与智能分析融合,是跨平台智能截图工具,能自动识别内容类型并处理,有多种功能,安装使用简单。
金山与华科发布多模态模型MonkeyOCR v1.5:文档解析能力超越PaddleOCR-VL,复杂表格解析首次突破90%
2025年6月以来多模态文档解析成前沿课题。MonkeyOCR v1.5是全新框架,在OmniDocBench v1.5等基准上全面突破,复杂表格等场景提升9.7%,采用两阶段解析管道和复杂表格处理方案。
李飞飞最新思考:语言模型救不了机器人
本文是对李飞飞的访谈编译。她指出语言模型在世界理解上有短板,空间智能是关键,还探讨了AI发展历程、世界模型重要性等,介绍其公司产品Marble,强调人人在AI时代都有位置。
Dev Proxy v1.3.0:HAR 文件生成、LLM 使用跟踪、增强的 API 测试功能
Microsoft 365 开发团队发布 Dev Proxy v1.3.0 版,引入 HAR 文件生成、OpenAI 使用跟踪等新功能,改善调试、测试和 API 监控,还改进 OpenAPI 规范生成等,同时更新了 VS Code 工具包。
Nature子刊:太空中建数据中心,无限能源,浙大首次证实可行!
浙江大学和新加坡南洋理工大学新研究探索太空碳中和数据中心可行性。太空有太阳能与散热优势,提出轨道边缘和轨道云数据中心方案,还建立全生命周期碳效率评估体系,虽有挑战但前景好。