「vllm v1」共找到 2110 篇相关文章
百度0.9B参数模型登顶全球第一，聊聊PaddleOCR-VL背后的技术细节
百度PaddleOCR-VL模型仅0.9B参数，在OmniDocBench V1.5榜单获92.6分全球第一，在多能力维度达业界最佳，能处理109种语言。其采用两阶段架构，结合优质训练数据，实现高性能与低内存、快速度的平衡。
200行python代码实现从Bigram模型到LLM
本文从`babygpt_v1.py`出发，逐步加入self-attention机制、position嵌入等，实现完整GPT。介绍Transformer结构，讲解位置编码、单头自注意力等机制的代码实现，还阐述后续层的用途、参数调整及训练效果，最后提及模型优化方向。
从被100家VC拒绝到英伟达、字节抢着投，AI视频独角兽CEO揭秘“奇葩”用人哲学：不招精英
Synthesia是专注企业级AI视频方案的平台，愿景是让会用PPT的人轻松做视频。创业初被100位投资者拒绝，获Mark Cuban支持后走上正轨。产品受众多公司使用，ARR破1亿美元，还获英伟达、字节等投资，CEO用人不招精英。
腾讯披露元宝已是TOP3应用
2025腾讯全球数字生态大会信息量大。腾讯元宝日活冲前三，混元3D建模精度提升3倍。C端产品逐步落地B端，如腾讯云CodeBuddy等。腾讯云还将带成熟生态出海，投资1.5亿美元在沙特建数据中心。
存储芯片领域又冲出一家IPO！年入37亿
AI驱动存储“超级周期”，行业巨头提价，国内存储芯片公司股价上涨。深圳晶存科技9月底递表港交所，此前募资超7.06亿，2024年末投后估值37亿。虽净利润为正，但经营现金流持续为负，全球嵌入式存储市场市占率约1.6%。
新国产GPU「曦望」，刚融了10个亿
国产GPU公司曦望Sunrise由商汤2024年底分拆独立，时隔半年完成近10亿融资。其产品曦望S1、S2已量产，S3在研发。两位联席CEO分别是百度元老王湛和AMD芯片老将王勇，核心团队规模小但成果显著。
十周前才写下第一行代码，如今颠覆 9 个行业？员工人均 10 万粉，00 后创业者狂言：我们将超越 OpenAI
本文聚焦 21 岁 00 后创业者 Roy Lee 和他的桌面 AI 助手 Cluely。该产品获高额融资、估值达 1.2 亿美元且已盈利，但也饱受争议。文中还揭秘其成功热度的关键、团队情况，探讨 AI 时代产品留存演变。
0.3B参数，600MB内存！腾讯混元实现产业级2Bit量化，端侧模型小如手机App
腾讯混元团队推出面向消费级硬件的“极小”模型HY-1.8B-2Bit，参数量仅0.3B，内存占用600MB。它基于产业级2Bit端侧量化方案，生成速度提升，还通过多种方法提升能力，未来将探索新技术缩小与全精度模型差距。
非Transformer架构的新突破，液态神经网络的推理小模型只用900M内存
谷歌提出的Transformer架构基本垄断大模型，而初创公司Liquid AI研发的液态神经网络架构另辟蹊径。其发布并开源的LFM2.5 - 1.2B - Thinking模型，仅需900MB内存就能在端侧运行，性能优于Transformer架构模型，还降低了死循环生成比例。
回归C++: 在GGUF上构建高效的向量模型
Jina AI分享将纯解码器向量模型适配到GGUF格式及在llama.cpp工具链的优化经验。经处理得到特定任务v4模型，还生成量化版本并上传。介绍使用方法、注意事项，经测试推荐IQ3_S或IQ3_M版配合定制工具。