搜索：Triton推理服务器

「Triton推理服务器」共找到 2191 篇相关文章

野生DeepSeek火了，速度碾压官方版，权重开源

近日，德国AI咨询公司TNG推出的「DeepSeek R1T2」模型火了，速度比R1快20%，性能不弱于R1。它采用AoE技术，融合官方三大模型，开源且在Hugging Face开放权重，获不少人期待。

今年AI Agent层出不穷，当前研究缺乏统一标准、复现难。oppo Agent团队分享构建高效Agent的关键组件及刷榜GAIA的方法，从事实获取能力和逻辑推理保真度两维度分析，介绍了强化感知和提升思维的策略。

文章结合作者对数据基础设施的实践与反思，探讨生成式AI时代数据系统的挑战与机遇。介绍数据基础设施新趋势，分析Neon、Supabase等公司受关注原因，指出PostgreSQL成行业标准，还提出Data Warebase概念及优势和应用场景。

文章围绕618换电脑跑AI展开，分析了本地跑AI的情况，包括不同模型对算力和显存的要求，指出本地跑的好处是隐私安全、无限免费，还推荐了不同预算的笔记本，为想换电脑学AI的人提供参考。

微软公布BitNet v2，性能几乎0损失，占用内存和计算成本显著降低。它首次实现对1比特LLMs的原生4比特激活值量化，通过H - BitLinear模块处理异常通道，实验显示其在多方面表现优异。

30年码龄程序员4年没搞定的顽固型‘白鲸bug’，Claude Opus 4配合Code模式，用30个prompt+1次重启，几小时就破解。此前GPT - 4.1等模型都失败，凸显Claude编程与推理能力强。

海光信息与中科曙光联合宣布筹划重大资产重组，海光拟换股吸收合并中科曙光并募资。二者总市值超4000亿，此次并购有体量大、子并母、产业链纵向整合特点，或开启国内半导体并购潮。

谷歌推出视频生成模型Veo 3，一句提示词就能打造电影质感短片，还能音画同步，引发网友惊叹。DeepMind CTO在访谈中表示，规模非AGI唯一要素，还提及Deep Think模式及Veo 3进展等。

北大校友Lilian Weng更新博客《Why We Think》，回顾利用测试时计算研究进展，探讨激励模型思考方式，介绍思维链、并行采样、序列修订等策略，还提及强化学习、外部工具使用及未来研究方向。

今天上午腾讯发布混元图像2.0，以“更智能、更开放、更中国”为理念。其参数规模提升，推理时间大幅压缩，实现毫秒级实时生成，还在画面质量等方面升级，新增实时绘画板功能。