「流处理架构」共找到 2822 篇相关文章
小米小爱同学：资源受限下，实现端侧大模型的高性能推理
InfoQ对话小米小爱同学端侧AI负责人杨永杰，了解其团队在资源受限的端侧设备实现大模型高性能推理的策略。目前端侧大模型商业化落地慢，团队提前布局，自研框架，实现超180 tokens/s推理速度，还分享未来突破方向。
谢赛宁团队新基准让LLM集体自闭，DeepSeek R1、Gemini 2.5 Pro都是零分
纽约大学等8家机构研究者提出LiveCodeBench Pro竞技编程基准测试，评估了Gemini 2.5 Pro等前沿大模型。发现当前模型有显著不足，在无外部工具时，高难度题通过率为0，LLM与人类大师级水平差距明显。
6.5k星！轻量级多智能体对话编排框架Agent Squad
Agent Squad是轻量级多智能体对话编排框架，有6.5k星。它能管理多AI代理、处理复杂对话，具智能意图分类等特性。新SupervisorAgent可协调多专业代理，还有演示应用及多种使用示例。
ACL2025 | 抓出0.1%的捣乱分子压缩方法OTT：近乎无损 超越KIVI，内存减6.4倍 吞吐量提2.3倍
LLM生成文本时KV Cache内存占用高，限制模型批量处理能力。论文提出OTT方法，动态追踪异常令牌单独高精度保存，其余压缩。实验显示，它准确性高、效率好，不过在极短文本等场景有局限。
如何重现 DeepSeek 推理性能突破
DeepSeek-V3 是热门开源大模型，采用大规模 MoE 架构，优化推理性能是工程难点。阿里团队在 RTP - LLM 完成优化，对齐其推理系统性能，分享关键技术、不足与思考，还提及对 Qwen3 模型的优化策略。
一文看懂英伟达的产品体系和命名规则
文章由小枣君撰写，详细梳理英伟达产品体系和命名规则，涵盖算力芯片、超级芯片、超级计算机平台等，介绍各层级产品特性，还提及通信技术、开发框架CUDA，助读者清晰了解英伟达产品。
天翼云息壤筑底AI：夯实基建，驱动智变｜甲子光年
文章指出AI普及需强大平台架构等作为底座，而当前基础设施迭代难满足需求。天翼云在峰会宣布全面升级息壤，聚焦三领域，从夯实技术、提升自主可控、培育生态三方面支撑千行百业转型。
AI不靠“闭门造神”，海内外一线专家共探智能新纪元，GOSIM AI Paris 2025圆满收官！
5月7日，GOSIM AI Paris 2025在法国巴黎迎来第二日议程。全球专家围绕AI技术多方面探讨，涉及模型、基础设施等主题。还分享大模型趋势，宣布新型许可证，各分论坛展示多元成果，大会圆满收官，杭州场9月待启。
AI长身体，直接做实验！自主通用科学家，科研界的Scaling Law来了
本文探讨未来科研范式「自主通用科学家」（AGS），它将AI与机器人技术结合实现科研全流程自动化，有望突破人类科研限制，引发科学范式变革，还介绍了相关架构、优势及面临的挑战和应对策略。
大模型推理上限再突破：「自适应难易度蒸馏」超越R1蒸馏，长CoT语料质量飞升
本文从中兴通讯无线研究院「大模型深潜」团队切入，介绍了首创的「LLM自适应题目难度蒸馏」方法，该方法围绕「模型 - 数据动态匹配」提出了一条完整的CoT构建流程，显著提升了长CoT语料的质量。