搜索：预训练语言模型

「预训练语言模型」共找到 8240 篇相关文章

CL-Bench的故事没有结束，生成式CL-Bench：GENIUS来了

北大团队发布GENIUS，用于评估模型生成式流体智力。它构建含510个样本、20个子任务的评测集，测试模型多方面能力。实验显示当前模型流体智力有短板，还提出免训练注意力校准机制提升性能。

吴恩达团队用闭源模型做安全审查遇阻，后改用 OpenWorker 框架结合开源权重模型 Kimi K3 和 GLM 5.2 取得进展。他认为开放模型和执行框架能带来更安全系统，开源权重模型舆论战虽胜，但立法层面未胜。

文章提出并行扩展（ParScale）路线，在不增模型参数下，通过引入并行流提升性能。新扩展定律打破传统范式，两阶段后训练策略降成本，还适用于边缘设备，研究仍在进行。

文章提出Tool - Star框架，旨在解决大模型多工具协作推理难题。它从数据端到训练流程优化，让模型调用多种工具，在复杂计算和知识型推理任务表现卓越，还探讨了未来多模态及多工具扩展方向。

大型语言模型解决复杂问题有推理过程和答案，传统评估只看最终答案。论文提出最终答案可能不佳，中间步骤更值得研究。还介绍通过切割推理过程发现中间步骤藏玄机，提出‘分步检查法’提升模型表现，实验表明准确率最高提升13%等。

Meta FAIR推出全球首个代码世界模型CWM，它能生成代码、理解语义，还‘懂得’代码执行，能模拟运行过程。在多个代码与推理任务表现出色，开源代码、训练细节等，不过目前仅支持Python。

英伟达携手港大开源Orchestrator-8B小模型，在HLE测试中分数超GPT - 5，成本低且速度快。它靠ToolOrchestra训练法，协调工具解题。此赛道已有多项研究，小模型实用优势明显。

3月25日，硅心科技发布专为代码变更应用场景设计的轻量级模型aiX - apply - 4B。该模型在准确率、推理速度等方面表现出色，超越部分千亿级大模型，还推出“大模型+小模型”协同架构释放企业算力价值。

具身智能数据竞争进入新阶段，第一视角视频虽缓解数据量问题，但未记录人行动的原因及大脑身体实时修正。FaceMind提出Ego - NeuroLoop数据范式，配套NeuroMatrix和NeuroBooster，将训练数据从“行为库”推向“闭环库”。

Jina AI发布多模态向量模型jina-embeddings-v4，参数38亿，能同步处理文本与图像。内置LoRA适配器强化检索等任务表现，在多基准测试中展现顶尖性能，支持单/多向量表示。介绍了架构、上手指南等。