「并行推理加速」共找到 2693 篇相关文章
MiniCPM 4.0极速狂飙，端侧模型的比赛，结束了！
面壁智能联合清华发布MiniCPM 4.0，极限场景220倍加速。它是首个原生稀疏模型，有InfLLM v2、CPM.cu等创新，基准测试碾压对手，适配全平台，还有科研、工具调用等功能，标志端侧长文本时代到来。
180亿深圳芯片黑马，华为猛下单
4月25日晚，云天励飞公告2024年营收超9亿，同比增81.3%，截至4月28日收盘市值超180亿。该公司以‘算法芯片化’为基础，在推理算力、行业赋能、消费级业务均有布局，还与华为等合作。
智谱公布“降智”的秘密：Scaling不可避免的痛
智谱最新技术博客大倒苦水，称从GLM - 5以来遭遇「Scaling Pain」。团队排查出高负载下推理状态管理等问题致异常，还给出避坑指南，如在线异常监控策略，优化后系统更稳定，吞吐量提升。
Snapchat提出Canvas-to-Image：一张画布集成 ID、姿态与布局
Canvas-to-Image 是面向组合式图像创作的全新框架，将不同控制信息整合在同一画布，简化图像生成控制流程。它解决了传统生成流程中控制方式分散的问题，能在推理阶段组合多种控制信号，实验效果良好。
高性能计算群星闪耀时
文章介绍高性能计算（HPC）对大模型的重要性，回顾中国HPC发展历程，讲述清华高性能所郑纬民等学者贡献，还提及团队在大模型训练、推理、存储等方面成果，以及类脑计算等新探索。
手机也能跑，腾讯混元一口气开源4款小模型
腾讯混元团队开源4款小模型，最大7B。可在低功耗场景运行，支持微调。是融合推理模型，有快、慢思考模式，在多领域表现出色，亮点是agent和长文能力，已落地多元业务场景。
为什么我觉得AGI并不会马上到来
作者Dwarkesh Patel认为AGI不会马上到来。当前大语言模型缺乏持续学习能力，难以替代人类工作；计算机操作能力受训练周期、数据等限制；推理能力虽有突破，但仍需时间发展。作者给出了具体预测时间。
红杉专访 OpenAI Codex 团队：AI Coding 的未来，应该是异步自主 Agent
红杉专访 OpenAI Codex 团队，探讨 AI Coding 未来。OpenAI 5 月推出的 Codex Agent 可并行处理多任务、独立完成编程全流程。从代码补全到任务委托，AI 编程朝解放生产力方向发展，团队分享了产品思考等内容。
DeepSeek-OCR 2再进化，对图像理解已经像人一样逻辑推理了
DeepSeek-OCR 2升级，保持前代高效压缩率和解码效率，引入DeepEncoder V2，模仿人类视觉因果流机制，将图像理解转为逻辑推理，在文档解析领域实现逻辑重构，性能显著提升。
英伟达联手QCI搞大事：量子应用能在真机前先模拟纠错
量子电路（QCI）公司联合NVIDIA，将CUDA - Q编程能力集成到Aqumen软件套件。QCI的双轨量子比特设计易纠错，有检测、控制流、处理错误三大功能。二者结合能让开发者在真机前模拟纠错，加速量子计算商业化。