「AI边缘推理」共找到 11127 篇相关文章
抢天才还是拼算力？前 Llama 推理负责人详解 AI 的真实天花板
前 Llama 推理负责人 Ross Taylor 在播客访谈中指出，AI 竞赛中的混乱和挖角是噪声，最终会被指数级算力淹没。他阐释了算力指数曲线决定竞赛天花板，强调系统性实验、高质量评估的重要性。
AI 推理精细化流量治理实战：RocketMQ LiteTopic 的“千人千面”流控方案
随着大模型推理服务成主流，传统消息队列限流机制在AI推理场景面临挑战。Apache RocketMQ 5.x推出LiteTopic，其精细化流量治理方案能实现‘千人千面’，解决队列头部阻塞和并发效率受损问题，还与阿里云百炼网关合作。
Sora 2 惊现 LLM 推理能力，视频生成模型也能搞推理？
Sora 2在科学推理基准测试中获55%成绩，虽不敌GPT - 5，但一个视频生成模型能做推理令人惊讶。Epoch AI实验发现其可能借LLM重写提示词答题，网友也证实背后或有GPT - 4o等处理。此外，Google研究显示视频模型经大量训练或有推理能力。
AI-Infra-Auto-Driven-SKILLS v0.1.0：给 Codex / Claude Code 的推理框架工作流
AI-Infra-Auto-Driven-SKILLS v0.1.0 版本整理可用 AI Infra SKILLS 并补充说明，沉淀推理框架开发流程约束，适用于 Codex 和 Claude Code，包含核心技能、SOTA loop、OpenAI 目标和提示等内容。
从宁波到登陆港交所，“边缘AI芯片第一股”的突围之路
2月10日，爱芯元智登陆港交所，被誉为“中国边缘AI芯片第一股”。它以“混合精度NPU”与“AI - ISP”为核心技术，构建产品矩阵。营收增长强劲，客户基础拓宽，应用领域广泛，在行业中排名靠前，但也面临挑战。
推理成为新中心、Agent 把生产级问题提前：AI Infra 的边界正在被重写
本文基于多开源社区联合大会的行业交流，分析AI落地生产后对基础设施的改变，指出推理成为新中心，Agent提前带出生产级问题，AI Infra边界正被重写。
上海AI Lab、浙大EagleLab等提出RRVF：利用「验证非对称性」，只输入图片学习视觉推理
上海AI Lab、浙大EagleLab等联合完成研究，提出RRVF框架，利用「验证非对称性」，仅输入图片学习视觉推理。它构建闭环系统，通过迭代推理、视觉反馈等步骤训练模型，实验显示效果佳，证明验证法则力量。
刚刚！Sam Altman官宣：Plus用户GPT-5推理提至每周3000次，AI版电车难题已来
Sam Altman官宣ChatGPT Plus用户GPT - 5级推理额度提至每周3000次，还将更新UI、公布算力权衡策略。同时指出GPT - 5推出带来AI情感依恋及伦理困境，如AI成情感寄托时公司如何应对等问题。
AI Agents和Agentic AI有什么区别？
论文《AI Agents vs. Agentic AI》深入探讨AI Agent和Agentic AI的本质差异。AI Agents是集成大模型和外部工具的单体系统，适合简单任务；Agentic AI是多智能体协作新范式，适合复杂场景。还提及挑战、解决方案与未来方向。
腾讯混元AI Infra如何优化Hy3 Preview：一次大模型推理性能提升的技术拆解
文章聚焦腾讯混元AI Infra对Hy3 preview模型的推理性能优化。从算子优化与融合、并行策略等五大维度，剖析技术思路、算法及收益，如Attention算子单batch长文本最高加速2.95x，还提及后续显存优化等工作。