「LLM Inference」共找到 974 篇相关文章
智能体崛起，AI+软件研发到新拐点了？
InfoQ《极客有约》X AICon 直播探讨 LLM 时代软件研发新范式。嘉宾认为 AI 在研发中是提效工具，距原生开发尚远；部分开发环节已由 AI 接手，落地面临稳定性等问题；未来智能体协作是趋势，部分工程师价值将放大。
挑战 1 比特！ETH Zürich 秦浩桐：如何把大模型「塞进」小设备？| IJCAI 2026
IJCAI 2026大会上，秦浩桐给出创新解法，挑战无需重训的“后训练量化”极限，将庞大的LLM强行压缩至极端的1比特与2比特。其团队的BiLLM与SqueezeLLM打破了后训练量化魔咒，还指出极低比特量化的三大挑战。
AI水论文封一年，署名连坐！arXiv最严新规来了，陶哲轩附议
arXiv计算机科学版块主席公布新规，上传AI水论文被查实者封禁一年，后续投稿须先同行评审。若有未核查LLM生成内容证据，署名作者连坐。陶哲轩附议，指出论文生成易、消化难，新政方向正确，但治不了学术‘争先为首’病根。
腾讯混元AI Infra核心技术重磅开源：推理吞吐提升30%！
腾讯混元AI Infra团队开源生产级高性能LLM推理核心算子库HPC-Ops，基于生产环境痛点开发，降低底层算子开发门槛，实现显著性能突破。在真实场景下，混元、DeepSeek模型推理QPM提升，单算子性能也超越主流算子库。
一盘大棋！OpenAI「截胡」IMO金牌，奥特曼为GPT-5献上「核弹级」预热
OpenAI用全新通用推理模型拿下IMO金牌，抢了谷歌DeepMind的风头。此模型是融合新通用技术的推理LLM，在推理时间跨度和效率上有进步。奥特曼借此为GPT - 5预热，陶哲轩指出缺乏统一标准时对比AI表现无意义。
谷歌新研究：大模型“吵架”有利于提升推理质量
谷歌新研究发现高级推理模型自发进化出'思想社会'，研究人员用LLM - as - judge方法识别出多个虚拟人格。还找到控制现象的'开关'，实验表明教AI'吵架'更有效，其'社交技能'通用，给开发者带来新启示。
梁文锋署名新论文，DeepSeek V4架构首曝？直击Transformer致命缺陷
新智元报道，梁文锋署名的DeepSeek新论文提出全新Engram模块，解决Transformer记忆难题。论文联手北大提出与MoE互补的“条件记忆”稀疏轴，通过Engram模块实现近似O(1)的确定性知识查找，或成稀疏LLM主流路线，下一代V4可能集成该方法。
AI Code要变天了，Meta首个代码世界模型登场！
Meta FAIR推出32B参数的代码世界模型（CWM），旨在探索世界模型如何改变代码生成和推理，code和mode已开源。在SWE - bench验证中表现优，能与更大规模或闭权重的LLM竞争，还介绍了训练、数据集等情况。
斯坦福毕业，用RL做Agent，华人创业团队种子轮融资1200万美元
华人创业团队 Pokee.ai 以 RL 为核心开发 AI Agent，与主流以 LLM 为核心的方式不同。该团队创始人朱哲清有丰富经验，现完成 1200 万美元种子轮融资，产品公开测试版已上线。对话中还探讨了 Agent 特点、发展阶段等问题。
用AI写代码的真实体验：聪明却“不靠谱”的顾问，你敢用吗？
作者Luke Kanies曾是AI与LLM怀疑者，试用Vibe Coding后，认为要把AI当不太靠谱的外部顾问。用AI学Swift编程，发现它是糟糕架构师，但找语法错误快，相处中可让其做琐碎工作，不能全信它。