「超低延迟」共找到 3036 篇相关文章
6个做AI和ML的奇技淫巧
作者整理了6个做AI和ML的技巧，如提前结束评估、超参数过度优化、精心挑选数据集等，指出现在90%的模型可能都用到其中不止一招，还介绍了自己用AI采集资讯发布到知识星球。
王兴一鸣惊人！美团首个开源大模型追平DeepSeek-V3.1
美团首个开源大模型Longcat-Flash-Chat发布即引发热议。它在部分benchmark上超DeepSeek-V3.1等，编程能力也出色。技术报告透露美团对大模型的理解，还有新发现，且性能好、训练效率高。
AI开始替人类调用AI！token用量已是人类5.2倍
据OpenRouter统计，截至8月10日，Agent类token用量半年涨14倍，人类仅2.8倍。差距源于用法差异，虽智能体部分token计价低，但用量大仍烧钱。省钱关键在配套，且智能体任务验收缺人手。
生成式推理再排序，可能会是LLM4RecSys的新突破口吗？
Meta AI研究者尝试把推理模型引入推荐系统再排序阶段。论文通过监督微调等赋予模型推理能力，超LLM4Recsys标杆。中期内化物品语意ID，生成推理路径，推理赋能再排序，披露重排序提升空间。
马斯克的「移动客厅」又火了：20人座无方向盘，每公里才3毛钱
前段时间旧金山大停电，Waymo无人驾驶出租车趴窝，特斯拉汽车不受影响。网友翻出特斯拉Robovan视频，马斯克称其将改变街道面貌。该车20人座无方向盘，运营成本低，预计2027年量产，此外马斯克身价破7000亿美元。
AGI 新技术路线：下一代稀疏注意力机制 Monte Carlo Attention 开源
超对称技术公司在新版基座模型 BigBang - Proton 中使用的 Monte Carlo 注意力开源。它基于二进制块编码技术，用块间代表交流机制实现线性复杂度，兼具多种注意力机制优点，可满足宇宙尺度建模的上下文长度需求。
一周10来个模型被开源，阿里Qwen杀疯了~
阿里通义千问这周开源众多模型，如Qwen3 - Omni、Qwen - Image - Edit等，涉及全模态、图像编辑、安全审核等多领域。各模型能力出色，如Qwen3 - Omni能处理多模态输入，Qwen3 - VL表现超部分闭源模型。
2025临界点：AI智商超越人类，经济规则即将改写
AI平均智商超110，2025年将参与经济全链条操作。AI经济浮现，具备全天候自动运行、无劳动力供给限制、或成非稀缺经济等特点，还能降低交易成本、减少非理性决策，或带来人类第三次理性化浪潮。
LLM加速利器LMCache，极大降低GPU资源消耗
LMCache是大语言模型服务引擎扩展组件，能降低首次响应延迟、提升吞吐量，适用于长上下文场景。它将KV缓存存于多级存储，跨服务实例复用任意重复文本的KV缓存，节省GPU算力，与vLLM结合优化显著。
微调重要表征以增强思维链的推理能力
团队提出关键表征微调（CRFT）方法，通过信息流分析识别和优化关键表征。在八个数学和常识推理基准及两个模型系列验证其有效性，能提高推理准确率，学习参数量低，还适应少样本场景。