搜索：模型结构创新

「模型结构创新」共找到 8374 篇相关文章

国产大模型新SOTA：蚂蚁万亿级旗舰模型赶超GPT-5

蚂蚁集团开源万亿参数旗舰大模型Ling-1T，属Ling 2.0家族。它激活比例低降低运算成本，训练有“Ling缩放定律”等方法，多项测试超主流模型，不过处理超长上下文成本较高。

清华大学吕帅团队提出FloorPlan-LLaMa模型，采用自回归生成架构与RLHF机制，解决传统平面图自动生成模型‘指标优秀但实际不可用’痛点，提升生成式平面图设计质量与实用价值。该论文被ACL录用获领域主席奖。

OpenAI公开IH - Challenge，解决大模型指令冲突难题。指出大模型问题多因听信错误指令，给出系统＞开发者＞用户＞工具的指令层级结构，设计数据集训练模型遵循高信任等级指令，提升安全可控性与抵御提示词注入能力。

字节跳动Seed团队在arXiv发表论文，提出预训练模型平均（PMA）技术。该技术将模型合并引入预训练阶段，可提升性能、预测衰减阶段表现，还能解决训练问题。不过，高学习率影响和强化学习应用待研究。

全球著名开源大模型平台DeepSeek在huggingface发布超强开源模型V3的论文，从硬件架构和模型设计双视角探讨高效训练和推理，提出DeepSeek - MoE、多头潜在注意力等创新技术，解决内存、计算效率等难题。

本文为《2025 年度盘点与趋势洞察》系列访谈，传神语联创始人何恩培分享医疗 AI 发展看法。他认为通用大模型微调成行业模型是伪命题，介绍了传神素问中医大模型应用，还对比中西医 AI 化差异，探讨未来发展场景与挑战。

大语言模型在结构化表格数据处理上表现不佳，清华大学崔鹏团队开源的 LimiX-2M 模型，仅 2M 参数，却能同时支持分类、回归等任务，性能超越经典模型，且训练、运行成本低，科研友好。

卡帕西发布“大模型议会”web app，系统通过OpenRouter调起多模型开会商议，各模型答题、互评、排序，由主席模型给出统一答案。可对比模型差异，模型自评与人类主观或不同，多模型集成或成突破点。

MIT研究把59个不同模型凑一起，发现强大模型对物质理解趋同，且性能越强思维越接近。研究还指出性能不佳模型的问题，认为可通过模型蒸馏让小模型模仿大模型，实现算力自由。

吴恩达指出，AI创业真机遇不在大模型，而在智能体。智能体市场潜力大，创业者可发挥其专业化优势。还建议忽略AGI，用AI解决日常问题，关注小模型边缘计算、军民两用场景，构建可信AI应用。