「FP4量化」共找到 1679 篇相关文章
Mini-sglang-01：从Client到Scheduler的消息流转之旅
文章围绕轻量化大模型推理系统mini - sglang，详细介绍消息从客户端经APIServer、Tokenizer到Scheduler的流转过程，分析核心组件功能、消息体系、正反向链路及优化策略，还预告后续分析调度和模型实现逻辑。
全球首款120通道PCIe5交换芯片面世，为国产AI基础设施赋能
随着AI算力需求增长，芯动科技推出全球领先的104/120通道PCIe Gen5交换芯片。该芯片功能及性能全面对标国际行业龙头，可适配全场景应用，其落地标志国产高端PCIe交换芯片实现关键跨越。
Anthropic重磅新研究：当AI采访了1250人，它看见了人类的「职业软肋」
Anthropic推出Interviewer工具，与1250名职场人、创作者、科学家深度对话，记录细节并量化。该工具能自动完成访谈、分析等流程，受访者满意度超97%。研究揭示不同职业对AI态度受职业结构等因素影响。
OpenAI 收购了自己的“甲方”公司
当地时间12月3日，OpenAI宣布收购Neptune.ai，该公司为企业提供AI模型训练跟踪工具，OpenAI本就是其客户。虽未披露财务条款，但报道称将以不到4亿美元股票支付，交易仍需满足成交条件。
TinyAI ：全栈式轻量级 AI 框架
TinyAI是用Java实现的全栈轻量级AI框架，具有教育友好、模块化等特点。它分层设计，涵盖数学运算、神经网络等模块，支持多种模型架构与并行训练，还有智能体系统，可用于多领域，未来规划丰富。
Jina Reranker v3: 全新“列式”重排器，0.6B参数刷新文档检索SOTA
Jina AI推出第三代重排器Jina Reranker v3，在多语言检索基准上刷新SOTA。它参数仅6亿，有“last but not late”交互机制，能一次性处理查询和文档。还提供动态量化格式，方便不同硬件部署。
代码生成要变天了？被质疑架空后，Yann LeCun携320亿参数开源世界模型“杀回来了”
在新一代代码生成模型不断涌现的当下，Meta FAIR CodeGen团队由Yann LeCun领导发布了代码世界模型CWM。它有320亿参数，创新训练方式使它不仅会写代码，还能模拟执行，性能测试表现不俗，在圈内引发热议。
Jina Code Embeddings: 为高质量代码搜索而生的0.5B/1.5B向量模型
本文介绍了 Jina AI 开源的代码向量模型 `jina-code-embeddings`，含 0.5B 和 1.5B 规模，有 GGUF 量化版本。它性能顶尖，支持多任务与 15 种语言，还介绍了训练方案、使用方法等。
Claude估值暴涨300%！全球独角兽字节第三他第四
Anthropic官宣完成F轮130亿美元融资，最新估值达1830亿美元，比上轮暴涨近300%。成立4年成全球第四大估值初创公司，Claude Code年收入破5亿美元，融资用于拓展业务与海外推广。
全球第一！西湖大学成功登顶Science，卷赢同行背后黑科技揭秘
西湖大学一篇论文登顶Science，力压4篇同主题投稿。其成功除科研人员实力，还靠曙光存储支持。曙光为其AI集群升级，提供单节点带宽150GB/s的存储方案，且已大规模落地科研领域。