搜索：分组自注意力机制

「分组自注意力机制」共找到 985 篇相关文章

西湖大学打造了一个AI科学家，突破人类SOTA，还能自己发论文

西湖大学文本智能实验室推出能自主探索的AI科学家DeepScientist，两周完成人类三年科研量。它在三个前沿AI任务刷新SOTA纪录，还能写论文。文中介绍其科研历史、工作方式、成果及面临的伦理问题。

本文是 Altimeter Capital 合伙人 Freda Duan 对 Prediction Market 的解读。它在 2024 年美国大选后进入公众视野，Polymarket 估值达 90 亿美元。其机制使结果比民调更真实，正重塑人们获取真相、定价未来的方式。

OpenAI发论文揭示语言模型出现幻觉的根本原因，即训练和评估过程奖励猜测而非承认不确定性。预训练阶段就埋下幻觉种子，后训练阶段‘考试机制’强化幻觉，还给出改评分规则的解法。

随着AI发展，大语言模型处理复杂推理任务能力提升，但推理产生大量中间步骤和文本，拖慢计算速度、增加资源压力。研究者提出LightThinker，模仿人类思考模式，动态压缩推理步骤，削减tokens数量，降低成本。

大型语言模型在不同任务中对推理策略需求差异大，策略选择不当会影响效率与可靠性。本文提出双重知识边界框架，梳理LLMs推理模式，将策略选择形式化，还分析了决策因素及策略选择机制。

图像生成领域，自回归与扩散模型技术路线之争不断。腾讯混元团队发布X-Omni模型，通过强化学习提升自回归图像生成质量，能渲染长文本图像。该模型已开源，还构建奖励系统评估生成质量。

大语言模型在多轮工具调用场景有挑战，传统强化学习算法有探索效率低和资源消耗大问题。本文提出ARPO，通过量化token熵分布变化设计自适应探索机制，降低工具调用成本且提升多轮推理性能。

上海交通大学等团队提出 Data Whisperer，首个免训练的注意力驱动数据选择框架。它利用模型自身能力打分挑数据，无需训练与人工标注，用 10% 数据让微调效果逼近全量数据，在多方面领先传统方法。

Ai2耶鲁NYU联合推出科研版「Chatbot Arena」——SciArena，23款顶尖大模型比拼科研任务，OpenAI o3夺冠，DeepSeek第四。该平台解决通用基准测试在科研场景‘失效’问题，但其自动评估系统猜科研人偏好远未及格。

文章结合近两个月实践，分享Cursor编程经验，探讨其适用场景与问题。介绍使用方法，如标准Prompt、Rules等，还提及MCP工具及Cursor不足，对比DeepResearch等平台，最后介绍AutoGPT、Claude4.0等技术。