「能量 - 推理模型」共找到 8093 篇相关文章
DeepSeek 新模型 R1-0528 悄悄开源,与o3 相当,实测来了。
DeepSeek团队悄无声息地在Hugging Face上开源推理模型新升级版DeepSeek R1-0528,基于DeepSeek-V3-0324模型,架构和训练方法有改进,性能与o3相当,实测表现不错。
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的?
文章介绍了开源推理引擎 vLLM 和 SGLang,包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术,SGLang 基于 RadixAttention 优化。二者竞争激烈,性能趋同,还获投资与基金会关注,受科技公司青睐。
大模型竞赛转向:决胜关键为何是“后训练”?|甲子光年
大模型价值主战场向后训练转移,Grok 4凭后训练成“宇宙最强”。产业应用中通用模型适配难,后训练方法也在进化,如采用SFT+RL等,还介绍了夸克和阿里云的后训练实践。
除了prompting外,不动参数,如何改变模型行为?
文章指出传统提示工程控制大模型生成行为有缺陷,提出Steering Target Atoms (STA)方法。它用稀疏自编码器分解LLM高维表示,定位“原子知识组件”精准控行为,实验效果超现有技术,还能控制推理长度。
Pony Alpha新模型炸场!全球「猜爹大赛」开启
2月7日深夜,OpenRouter悄悄上线匿名模型Pony Alpha,其编程、推理等体验出色,外网瞬间疯传。全球开启‘猜爹大赛’,Claude、DeepSeek、Grok、GLM各派开吵,还凸显了‘匿名盲测式发布’新打法。
最强DeepResearch!通义DeepResearch-30B开源实战:模型部署+LangGraph+A2A全攻略
阿里发布全开源项目通义DeepResearch,在研究任务评测中表现出色,底层是30B的MoE专用推理模型,资源需求低。文章演示了基于该项目构建本地化端到端DeepResearch助理的方法,包括模型部署、Agent实现等。
AI 渗透金融行业:大模型如何破解风控、服务与决策难题?
在数字化与人工智能驱动下,金融行业变革深刻。InfoQ《极客有约》X AICon 直播栏目邀多位专家探讨大模型赋能金融,涉及风控、服务、决策等难题,分享了大模型应用场景、技术渗透、权衡可解释性与性能等观点。
告别卡脖子,华为黑科技破局!昇腾推理加速1.6倍打破LLM降智魔咒
大模型参数规模大,推理部署难。华为诺亚提出Pangu Light框架,结合算法创新与国产昇腾平台,通过跨层注意力剪枝等技术,解决剪枝后模型失稳问题,实现高压缩率、推理加速与高精度。
英伟达力荐,小团队两个月开源一款「光速级」智能体推理引擎
智能体时代算力需求庞大,LightSeek Foundation 小团队 2 个月打造大模型推理引擎 TokenSpeed,有 TensorRT LLM 性能、vLLM 易用性,受英伟达力荐且已开源,为智能体负载提供近「光速级」推理能力。
理解帮助生成?RecA自监督训练让统一多模态模型直升SOTA
统一多模态模型在视觉理解和生成能力上不平衡,常理解强但生成弱。本文提出重建对齐(RecA)自监督后训练方法,不改动架构,用未标注图像训练,在多模型实验中提升性能,部分达SOTA。