搜索：基准测试成本

「基准测试成本」共找到 3388 篇相关文章

Transformer八子初创：AI横扫NP难题竞赛，Top 2%选手竟是智能体！

Transformer作者Llion Jones初创公司测试AI智能体，其在NP难题竞赛中排第21。Sakana AI与AtCoder合作构建ALE - Bench，设计ALE - Agent参赛成绩优异，不过它也有调试难等局限，未来待改进。

香港科技大学KnowComp实验室与香港华为理论部提出AutoSchemaKG框架，可自主构建知识图谱，无需预定义模式。该系统利用大模型提取知识三元组并归纳模式，构建了ATLAS系列知识图谱，经测试表现优异。

大模型训练前，团队常用 Chinchilla 缩放律估算模型规模和数据量，但它在模型和数据极不平衡的边界预测易跑偏。Meta FAIR 提出的 Skaling 只增加一个耦合指数，降低外推误差，还采用 L 形采样降低试算成本。

Anthropic发布Claude Sonnet 5，官方称补足了Agent能力，价格优惠，但开发者反应不佳。Sonnet 5因tokenizer换代，实际使用成本更高，且比同类模型贵。与之相比，DeepSeek V4 Pro便宜很多，其靠技术实现低价，海外厂商难以复刻。

Uber运营负责人质疑AI tokenmaxxing成本合理性，米哈游员工一晚烧200万Token。部分公司开始调整，如多邻国取消AI使用绩效评估，Shopify阻止失控消耗。Tokenmaxxing让模型厂商、编程工具和算力相关方受益，盲目跟风企业或成输家。

过去两年，世界模型成为大模型演进重要方向，但现有模型多聚焦宏观世界。本文提出MicroVerse模拟框架，将研究边界拓展到微观尺度，还推出MicroWorldBench评测基准和MicroSim - 10K数据集，推动AI从视觉模拟迈向科学模拟。

1 月 16 日，支付宝联合千问 App 等伙伴发布 ACT 协议，它是中国首个面向 Agent 商业需求的开放技术协议。该协议打造 AI 与服务平台‘通用语言’，解决授权、安全等问题，让操作更放心，还降低商家对接成本。

文章从创作者视角出发，阐述部分主播需考虑做视频播客的原因。指出媒介融合下“节目”成最大公约数，美国主播因生存需做YouTube，中国播客靠切片传播，专业创作者做视频成本低且杠杆效应大。

谷歌Gemini 3将上线消息正热时，马斯克旗下xAI的Grok 4.1凌晨上线。它有两个“形态”，免费开放且有APP版。在LMArena测试中表现优异，事实稳定性、情商、创意写作等能力提升，实测也有不错表现。

Anthropic针对Claude Opus 5、Claude Fable 5等新模型，删超80%Claude Code系统提示词，编码测试成绩无明显下降。CC技术团队成员发文指上下文工程规则重写，还总结新旧规则对比，并给出内容撰写建议，还上线新命令。