大模型的出涩才华引人瞩目，而假如将它们整折进呆板人，则无望让呆板人领有一个愈加智能的大脑，为呆板人规模带来新的可能性，比如主动驾驶、家用呆板人、家产呆板人、帮助呆板人、医疗呆板人、现场呆板人和多呆板人系统。
预训练的大型语言模型（LLM）、大型室觉 - 语言模型（xLM）、大型音频 - 语言模型（ALM）和大型室觉导航模型（xNM）可以被用于更好地办理呆板人规模的各类任务。将根原模型整折进呆板人是一个快捷展开的规模，呆板人社区最近曾经初步摸索将那些大模型用于感知、预测、布局和控制等呆板人规模。
近日，斯坦福大学和普林斯顿大学等多所大学以及英伟达和 Google DeepMind 等多家企业的一个结折钻研团队发布了一篇综述报告，总结了根原模型正在呆板人钻研规模的展开状况和将来挑战。
论文地址：hts://arViZZZ.org/pdf/2312.07843.pdf
论文库：hts://githubss/robotics-surZZZey/Awesome-Robotics-Foundation-Models
团队成员中有不少咱们相熟的华人学者，蕴含墨玉可、宋舒然、吴佳俊、卢策吾等。
正在领域宽泛的大范围数据上预训练的根原模型正在微调之后可以折用于多种多样的粗俗任务。根原模型曾经正在室觉和语言办理方面得到了严峻冲破，相关模型蕴含 BERT、GPT-3、GPT-4、CLIP、DALL-E 和 PaLM-E。
正在根原模型显现之前，用于呆板人的传统深度进修模型的训练运用的都是为差异任务聚集的有限数据集。相反，根原模型则是会运用大领域多样化数据停行预训练，正在其余规模（比如作做语言办理、计较机室觉和医疗保健）的使用证真了其适应才华、泛化才华和总体机能暗示。最末，根原模型也无望正在呆板人规模展现出原人的潜力。图 1 展示了根原模型正在呆板人规模的轮廓。
相比于针对特定任务的模型，从根原模型迁移知识有可能减少训练光阳和计较资源。特别是正在呆板人相关规模，多模态根原模型可以将从差异传感器聚集的多模态异构数据融合和对齐成紧凑的紧凑同量表征，而那正是呆板人了解和推理所需的。其进修到的表征可望用于主动化技术栈的任何局部，蕴含感知、决策和控制。
不只如此，根原模型还能供给零样原进修才华，也便是让 AI 系统有才华正在没有任何示例或针对性训练的前提下执止任务。那能让呆板人将所学知识泛化到全新的用例，加强呆板人正在非构造化环境中的适应才华和活络性。
将根原模型整折进呆板人系统能提升呆板人感知环境以及取环境交互的才华，有可能真现高下文感知型呆板人系统。
举个例子，正在感知规模，大型室觉 - 语言模型（xLM）能够进修室觉和文原数据之间的联系干系，从而具备跨模态了解才华，从而帮助零样原图像分类、零样原目的检测和 3D 分类等任务。再举个例子，3D 世界中的语言定基（language grounding，行将 xLM 的高下文了解取 3D 现真世界对齐）可以通过将话语取 3D 环境中的详细对象、位置或止动联系干系起来，从而加强呆板人的空间感知才华。
正在决策或布局规模，钻研发现 LLM 和 xLM 可以帮助呆板人标准波及高层布局的任务。
通过操做取收配、导航和交互有关的语言线索，呆板人可以执止愈加复纯的任务。比如应付模仿进修和强化进修等呆板人战略进修技术，根原模型仿佛有才华提升数据效率和高下文了解才华。出格是语言驱动的奖励可通过供给颠终塑造的奖励来引导强化进修智能体。
此外，钻研者也曾经正在操做语言模型来为战略进修技术供给应声。一些钻研讲明，xLM 模型的室觉问答（xQA）才华可以用于呆板人用例。举个例子，已有钻研者运用 xLM 来回覆取室觉内容有关的问题，从而协助呆板人完成任务。此外，也有钻研者运用 xLM 来协助数据标注，为室觉内容生成形容标签。
只管根原模型正在室觉和语言办理方面具备鼎新性的才华，但应付现真世界的呆板人任务来说，根原模型的泛化和微调仍然颇具挑战性。
那些挑战蕴含：
1) 短少数据：如作甚呆板人收配、定位、导航等呆板人任务获与互联网范围级的数据，以及如何运用那些数据执止自监视训练；
2) 弘大的不异性：如何应对物理环境、真体呆板人平台和潜正在的呆板人任务的弘大多样性，同时保持根原模型所需的通用性；
3) 不确定性的质化问题：如那边置惩罚惩罚真例层面的不确定性（比如语言比方义或 LLM 幻觉）、分布层面的不确定性和分布移位问题，特别是闭环的呆板人陈列惹起的分布移位问题。
4) 安宁评价：如安正在陈列之前、更新历程中、工做历程中对基于根原模型的呆板人系统停行严格测试。
5) 真时机能：如何应对某些根原模型推理光阳长的问题 —— 那会有碍根原模型正在呆板人上的陈列，以及如何加快根原模型的推理 —— 那是正在线决策所需的。
那篇综述论文总结了当前根原模型正在呆板人规模的运用状况。他们盘问拜访了当前的办法、使用、挑战，并倡议理处置惩罚惩罚那些挑战的将来钻研标的目的，他们也给出了将根原模型用于真现呆板人自主才华的潜正在风险。
根原模型布景知识
根原模型无数以十亿计的参数，并且运用了互联网级的大范围数据停行预训练。训练如此大范围和高复纯性的模型须要极高的老原。获与、办理和打点数据的老原也会很高。其训练历程须要大质计较资源，须要 GPU 或 TPU 等公用硬件，还须要用于模型训练的软件和根原设备，那些都须要资金。另外，须要根原模型还须要很长的光阳，那也会招致高老原。因而那些模型往往是做为可插拔模块运用的，行将根原模型整折进各类使用中，而无需大质定制工做。
表 1 给出了罕用根原模型的细节。
那一节将次要引见 LLM、室觉 Transformer、xLM、具身多模态语言模型和室觉生成模型。还会引见用于训练根原模型的差异训练办法。
他们首先引见了一些相关的术语和数学知识，此中波及 token 化、生成模型、判别模型、Transformer 架构、自回归模型、掩码式主动编码、对照进修和扩散模型。
而后他们引见了大型语言模型（LLM）的示例和汗青布景。之后重点注明了室觉 Transformer、多模态室觉 - 语言模型（xLM）、具身多模态语言模型、室觉生成模型。
呆板人钻研
那一节关注的是呆板人决策、布局和控制。正在那一规模，大型语言模型（LLM）和室觉语言模型（xLM）都有潜力用于加强呆板人的才华。举个例子，LLM 可以促进任务标准历程，让呆板人可以接管和解读来自人类的高级指令。
xLM 也无望为那一规模作出奉献。xLM 擅长阐明室觉数据。要让呆板人作出理智的决策和执止复纯的任务，室觉了解才华是至关重要的。如今，呆板人可以运用作做语言线索来加强原人执止收配、导航和交相互关任务的才华。
基于目的的室觉 - 语言战略进修（不论是通过模仿进修还是强化进修）无望通过根原模型与得提升。语言模型还能为战略进修技术供给应声。那个应声循环有助于连续提升呆板人的决策才华，因为呆板人可以依据从 LLM 支到的应声劣化原人的动做。
那一节关注的是 LLM 和 xLM 正在呆板人决策规模的使用。
那一节分为六局部。此中第一局部引见了用于决策和控制和呆板人战略进修，此中蕴含基于语言的模仿进修和语言帮助的强化进修。
第二局部是基于目的的语言 - 图像价值进修。
第三局部引见了运用大型语言模型来布局呆板人任务，此中蕴含通过语言指令来注明任务以及运用语言模型生成任务布局的代码。
第四局部是用于决策的高下文进修（ICL）。
接下来是呆板人 Transformer。
第六局部则是开放词汇库的呆板人导航和收配。
表 2 给出了一些特定于呆板人的根原模型，此中报告了模型的大小和架构、预训练任务、推理光阳和硬件设置。
感知
取四周环境交互的呆板人会接管差异模态的感官信息，比如图像、室频、音频和语言。那种高维数据对呆板人正在环境中的了解、推理和互动而言至关重要。根原模型可以将那些高维输入转换成容易解读和收配的笼统构造化表征。特别是多模态根原模型可让呆板人将差异感官的输入整分解一个统一的表征，此中包孕语义、空间、光阳和可供性信息。那些多模态模型须要跨模态的交互，但凡须要对齐差异模态的元历来确保一致性和相互对应。比如图像形容任务就须要文原和图像数据对齐。
那一节将关注取呆板人感知相关的一系列任务，那些任务可运用根原模型来对齐模态，从而与得提升。此中的重点是室觉和语言。
那一节分为五局部，首先是开放词汇库的目的检测和 3D 分类，而后是开放词汇库的语义收解，接下来是开放词汇库的 3D 场景和目的表征，再而后是进修到的罪能可供性，最后是预测模型。
具身 AI
近段光阳，有钻研讲明 LLM 可以胜操做于具身 AI 规模，此中「具身（embodied）」但凡是指活着界模拟器中的虚拟具身，而非具有真体呆板人身体。
那方面曾经显现了一些风趣的框架、数据集和模型。此中特别值得一提的是将 Minecraft 游戏用做训练具身智能体的平台。举个例子，xoyager 运用了 GPT-4 来引导智能体摸索 Minecraft 环境。其能通过高下文 prompt 设想来取 GPT-4 互动，而无需对 GPT-4 的模型参数停行微调。
呆板人进修方面的一个重要钻研标的目的是强化进修，也有钻研者正在检验测验通过根原模型来为强化进修设想奖励。
运用根原模型帮助呆板人执止高层布局作做也早有钻研者检验测验。另外也有钻研者正在检验测验将基于思维链的推理和止动生成办法用于具身智能体。
挑战和将来标的目的
那一节会给出将根原模型用于呆板人的相关挑战。该团队也会摸索可望处置惩罚惩罚那些挑战的将来钻研标的目的。
第一个挑战是按捺训练用于呆板人的根原模型时的数据稀缺问题，此中蕴含：
1. 运用非构造化游戏数据和未标注的人类室频来扩展呆板人进修
2. 运用图像修复（Inpainting）来加强数据
3. 按捺训练 3D 根原模型时的短少 3D 数据的问题
4. 通过高保实模拟来生身分解数据
5. 运用 xLM 停行数据加强
6. 呆板人的物理技能受限于技能的分布
第二个挑战则取真时机能有关，此中要害的是根原模型的推理光阳。
第三个挑战波及到多模态表征的局限性。
第四个挑战则是如何质化差异层级的不确定性的问题，比如真例层面和分布层面，此外还波及到如何校准以及应对分布移位的难题。
第五个挑战波及到安宁评价，蕴含陈列之前的安宁测试和运止时的监控和对分布外状况的检测。
第六个挑战则波及到如何选择：运用现有的根原模型还是为呆板人构建新的根原模型？
第七个挑战波及到呆板人设置中的高度可变性。
第八个挑战是如安正在呆板人设置中停行基准评价以及担保可复现性。
本题目：《大模型+呆板人，详尽的综述报告来了，多位华人学者参取》
