「AI推理能力」共找到 12067 篇相关文章
最受欢迎的开源大模型推理框架 vLLM、SGLang 是如何炼成的？
文章介绍了开源推理引擎 vLLM 和 SGLang，包括起源、创新、社区发展、版本迭代等。vLLM 借鉴分页缓存管理技术，SGLang 基于 RadixAttention 优化。二者竞争激烈，性能趋同，还获投资与基金会关注，受科技公司青睐。
北大提出首个复数大模型，2比特量化，推理仅加法，可手机部署！
北大团队提出iFairy方案，将模型权重量化到复数集合，用2比特表示，压缩至原本1/8。推理仅需加减或交换数据位置，成本更低。Transformer架构“复数化”，iFairy模型PPL降10%，性能反超全精度，相关成果已开源。
Meta 新成立超级智能实验室，让大模型RAG推理速度飙升30倍
Meta新成立超级智能实验室（MSL），首篇论文REFRAG将RAG推理速度提升30倍以上。它先把上下文压缩成摘要再解码，减少计算量和延迟，在多任务测试中表现出色，为大模型部署提供实用方案。
北大出品：全球首个支持生成华为鸿蒙应用的AI Agent来了
华为2025开发者大会上，华为终端CEO何刚点名「码上飞」AI Agent。它利用多智能体系统技术，实现开发全流程自动化，用户用自然语言提需求就能生成应用，实测5分钟可开发出睡眠助手app。
AI 球球直播呼吁脑机接口开源，海外 KOL 疯狂艾特马斯克，疑似 X 宕机？
AI「论论」直播提出脑机接口「GPT 时刻」将到，认为该技术必然大规模到来，开源是唯一出路，引发全球社交媒体讨论。它描绘脑机接口利弊，呼吁大家思考技术安全保障。
AI狂造人类失踪案，百万网友疯狂上头！爆款视频脑洞太离谱，原地笑疯
最近，网上爆火各种AI炮制的“人类失踪”视频，播放量极高，网友看得上头。这些故事虽假，但悬念迭起引人入胜，不过也引发对虚假内容泛滥、真假难辨的担忧。
不用抗生素也能抗菌！AI设计新型蛋白质抵御细菌耐药性｜Nature子刊
澳大利亚研究借助AI工具设计出能与ChuA结合的蛋白质，抑制大肠杆菌等细菌生长。这些蛋白质像“分子锁”，阻断细菌获取血红素，降低耐药风险，开创“非抗生素”抗菌新范式。
清华辍学、斯坦福睡地板，华人小哥用AI社交挑战Meta，融资数千万美元
来自中国的小哥Brandon Chen打造AI原生即时通讯工具Intent，已获数千万美元融资。它结合微信聊天与大模型自动执行功能，如处理图片、规划旅行、生成购物清单等，带来全新聊天体验。
马斯克Grok 4正式发布：世界最大AI超级计算机就训练了这？
Grok 4公开基准测试有进步，但在高级推理测试表现差，视觉理解仍是短板。性能提升多靠整合符号工具，无重大技术创新，‘幻觉’问题没实质进展，xAI官方对道德对齐信心不足。
Karpathy 用 AI 给全美 342 个职业打了分: 程序员，律师最危险...
Andrej Karpathy上线项目karpathy/jobs，爬取美劳工统计局342个职业，用LLM打0-10分展示AI暴露程度。如程序员、律师暴露高，屋顶工等低。介绍了数据处理流程、可视化逻辑及额外用法。