「大模型公司」共找到 10234 篇相关文章
通过零开销逐层权重卸载技术将SGLang Diffusion wan2.2的推理速度加速60%
文章介绍在优化SGLang对Wan2.2视频生成模型支持时,发现双Transformer架构下第1步和第19步推理慢的问题。通过零开销逐层权重卸载技术,将整体推理速度提升60%,还突破显存墙,且该优化可扩展到其他模型。
干货满载!腾讯云AI技术周圆满收官,回顾如何利用AI增效创收
2025腾讯全球数字生态大会启幕前夕,腾讯云联合InfoQ打造「AI技术周」,9月8 - 14日直播输出,围绕多关键议题邀大咖对话,公布多项AI+产品进展,涵盖降成本搭应用、AI Agent落地、数据库智能进化等内容。
AI重新打开了创业窗口期?数据告诉你真相
移动互联网红利结束后创业圈寒冬漫长,2025 年起 AI 创业融资回暖,但资金集中于头部公司。AI 使创业成本断崖式下降,一人公司兴起,不过 AI 创业失败率仍高。真正的创业窗口期属于有行业认知、能差异化定位且善用 AI 的人。
一句话生成“非程序员的 Claude Code 指南”,比 NotebookLM 更好用
2026年,Anthropic公司的Claude Code成热议话题。它因AI Coding火和公司能力强受关注。Anthropic CEO认为初级甚至部分高级开发工作将大多由AI完成。Claude Code不仅适合开发者,也能为普通用户提供多种功能。还能用Google Gemini图文并茂功能一句话生成其学习指南。
第二代InfLLM开源,同尺寸快三倍!零参数,可训练稀疏注意力
新智元报道,清华、OpenBMB和哈工大提出零额外参数、训练高效的原生稀疏注意力框架InfLLM-V2,仅用5B长文本词元就能完成训练,相比稠密注意力机制有显著加速,性能接近传统稠密模型。
破解AI对不同上下⽂位置的敏感度不⼀致,新框架使出“解铃还须系铃人”
语言模型存在位置偏见,影响复杂推理等任务。论文提出Pos2Distill框架,将模型优势位置能力迁移到劣势位置缓解偏差,设计了Pos2Distill - R1和Pos2Distill - R2,在检索和推理任务表现好且有跨任务泛化能力。
MOE RL实战:统一FP8全流程训练
SGLang RL团队等联合完成工作,实现RL中全流程FP8训练与采样。介绍FP8训练硬件基础、格式、scale选择等,指出训练难点,分析KL Loss异常归因,验证其在MoE模型RL应用效果,还探究模型规模对训推不一致性的影响。
AMD跑GLM 5.2,成本只要英伟达一半
推理优化公司Wafer公布数据,用AMD的MI355X芯片跑GLM 5.2,单节点吞吐达2626 tok/s,单流吞吐213 tok/s,成本不到英伟达B200的一半。该公司详述部署过程,还提及AMD软件生态的变化及英伟达面临的挑战。
小扎万字檄文炮轰硅谷,Meta重磅开源30B小钢炮!一台MacBook就能跑
Meta发布全新30B大模型Muse Glimmer并开源,用4-bit量化等技术让其能在本地设备运行,有五大核心超能力且采用Apache 2.0协议。同时,Meta CEO小扎发表万字檄文暗讽OpenAI等,抨击AI末日论等观点。
九章云极发布AI工厂体系:破解140万亿Token时代的落地悖论|甲子光年
九章云极于6月17日发布Alaya NeW AI工厂体系,锚定十万P算力、十万亿Token、千个模型、千倍降本四大目标。该体系是智能工业化的必然产物,能解决资源难转生产力的难题,还具备技术效能、生态范式和商业飞轮三大支柱。