发布日期：2024-08-25 08:33点击次数：116
该工夫汇报的主要作家LuWang,FangkaiYang,ChaoyunZhang,ShilinHe,PuZhao,SiQin等均来自Data,Knowledge,andIntelligence(DKI)团队香港六合彩开奖记录历史，为微软TaskWeaver,WizardLLM,WindowsGUIAgentUFO的中枢拓荒者。
连年来，大说话模子（LargeLanguageModels,LLMs）的迅猛发展鼓舞了当然说话处理（NLP）领域的工夫向上。这些模子在对话生成、文本翻译、常识问答和代码生成等任务中展现出特殊的性能。
关系词，尽管LLMs不错通过说话生成为用户提供信息支持，其功能仍局限于文本层面，无法主动与物理或数字环境交互，或因缺少领域常识和数据而导致生成的「动作」效用欠安。这种「说话-行动断层」封闭了东谈主工智能（AI）在很多本色场景中的平凡应用。
为管制这一中枢问题，微软团队初次建议了一种好意思满的要领体系，详备描述了在无平直可用数据的情况下如何从零动手磨练一个大行动模子（LargeActionModel,LAM），并将其渐渐构建为可在信得过环境中完成任务的智能体。
这一使命为LAM模子磨练的奠定了基础，还为AI从被迫说话生成向主动行动生成的调理提供了新想路。
工夫汇报贯穿：LargeActionModels:FromInceptiontoImplementation数据处理代码贯穿：https://github.com/microsoft/UFO/tree/main/dataflow好意思满的工夫文档贯穿：https://microsoft.github.io/UFO/dataflow/overview/
从说话到行动的必要演化
LLMs的局限性
传统LLMs，如OpenAI的GPT系列和Mistral-7B，大概生成敷裕逻辑性和创意的文本内容，平凡应用于问答系统、代码补全、案牍生成等任务中。关系词，当用户的需求特出说话生成层面，举例操作软件、完成复杂的使命经过或平直操控物理树当场，这些模子便暴涌现明显的不及。
这一局限性源于LLMs的想象初志：它们被优化用于生成说话内容，而非推行行动。固然LLMs在职务筹画和意图相识方面阐发出色，但它们缺少行动生成所需的任务领会、环境交互和多步推行技艺。
LAM（大行动模子）具备三大特质：
用户意图相识，能从多种输入（说话、语音、图像等）中准确领悟意图并调理为具体可推行筹画；行动生成技艺，可把柄环境将用户需求调理为GUI操作、API调用、物理动作等多种样式的具体门径；动态筹画与允洽，大概领会复杂任务，生动搪塞环境变化，及时诊疗筹画以完成目标。这些特质使LAM在复杂任务推行中阐发出色。
图1：从LLM到LAM的演化
从LLMs到LAMs的挑战
如图1所示，构建LAMs的中枢挑战在于如何将模子从一个被迫的文本生成器调理为大概在信得过环境中推行复杂任务的主动行动生成器。这一瞥变不仅需要再行界说模子技艺，还触及从数据、磨练要领到评估形势的全面立异：
数据积攒的贫苦
数据赢得是磨练LAM的最大挑战。LAM需要多数任务-行动对数据来学习如安在不同环境中推行操作。关系词，这类数据在本色应用中常常难以赢得或批量鸠合。
模子磨练的紧要调理
LAM的拓荒需要从仅生成文本的LLMs调理为具备任务筹画、动态推行和诊疗技艺的模子。这不仅需要对模子架构进行深度改良，还需要经受全新的磨练要领，以赋予模子行动生成与环境适配的技艺。
离线评估的局限性
在静态、受控环境中测试LAM的性能是必要的一步，用以考证其基础技艺。关系词，仅留步于离线评估无法信得过反馈模子在本色复杂场景中的阐发。
环境适配与线上评估的复杂性
LAM需要及时与复杂、各样的数字或物理环境交互。这要求模子具备动态允洽性，大概把柄及时反馈诊疗行动。此外，在信得过环境中进行线上评估，测试LAM的准确性、效用和任务完告成率，是考证其本色性能的裂缝裂缝。
针对上述挑战，微软团队初次建议并完了了一套好意思满的从0到1磨练LAM模子的经过，涵盖了从数据积攒、模子磨练到本色部署的统统门径。
该团队的要领不仅管制了「无数据」的运转瓶颈，还通过渐渐迭代的形势，让模子任意单的任务筹画技艺成长为具备复杂行动生成技艺的智能体。这一缱绻填补了现存领域的空缺，为LAMs的拓荒提供了首个执行范例。
数据积攒
从无到有构建LAM的第一步
在磨练LAM（大行动模子）时，数据积攒是裂缝。与LLMs（大说话模子）磨练需要多数文本数据访佛，LAM的拓荒依赖高质地的任务-行动数据。
关系词，这类数据在本色应用中特别稀缺，特别是领域专属和可推行的数据。为了克服这一瓶颈，该团队想象了一套从无到有的数据鸠合与处理经过，分为两大阶段：任务-筹画数据鸠合和任务-行动数据鸠合。
图2：任务-筹画数据的鸠合过程
阶段一：任务-筹画数据鸠合
如图2所示，任务-筹画数据以用户苦求为开首，生成任务描述畸形对应的小心操作门径。该团队从多种开源资源中鸠合任务-筹画对，包括应用匡助文档（如MicrosoftWord的匡助页面）、WikiHow任务教程，以及用户的搜索查询记载。
通过这些来源，该团队构建了包含76,672对任务与筹画的运转数据集，其中29,182对是平直赢得的，47,490对通过数据膨胀工夫生成。
此外，他们经受数据增强工夫生成更多任务-筹画对。通过GPT-4o演化原始任务，增多复杂性和胁制条目，同期生成相应的筹画，膨胀数据集规模至本来的150%。举例，「在Excel中创建下拉菜单」被演化为「创建依赖下拉菜单，并把柄第一列聘用过滤第二列内容」，从而提高模子对复杂任务的允洽技艺。
图3：任务-行动数据鸠合过程
阶段二：任务-行动数据鸠合
任务-筹画数据固然用于高脉络筹画，但弗成平直推行。如图3所示，为填补从筹画到推行的差距，该团队通过以下门径生成任务-行动数据：
1.实例化任务：欺诈预界说模板（如Word文档样例），将任务描述具体化，将轮廓的筹画门径调理为具体的行动序列（如「点击菜单栏中的「想象」选项」）。
2.推行考证：在信得过环境中推行实例化的任务，拿获推行轨迹和环境反馈，确保行动序列的可操作性和正确性。
3.评估与后处理：使用GPT-4o对推行驱散进行考证，仅保留与任务目标一致的凯旋轨迹，并记载小心元数据（如环境现象和推行时代），最终身成结构化的任务-行动对。
这照旧过最终身成了障翳平凡操作场景的任务-行动数据集，为LAM磨练提供了精准的行动模板，显赫擢升了模子在信得过环境中的任务推行技艺。
通过两阶段的渐渐积攒，凯旋地从「无数据」现象启航，构建了LAM磨练所需的高质地任务-行动数据。这一要领不仅管制了数据稀缺问题，还通过引入信得过环境交互和动态考证，确保数据的高效性和适用性，为从LLMs到LAMs的调理提供了坚实基础。
要领：从0到1，渐渐构建LAM
如图4所示，构建LAM的过程分为四个阶段，涵盖了从数据积攒到模子磨练的好意思满使命流。
图4：LAM的磨练过程
第一阶段：任务筹画预磨练
为了让模子具备基本的任务筹画技艺，领先磨练模子生成任务领会筹画。数据来源为任务-筹画数据。模子的目标是把柄输入任务生成正确的任务领会筹画。举例，「在Word中插入表格」被领会为「点击插入菜单」、「聘用表格选项」、「输入表格行列数」等门径。这一阶段让模子掌执了任务领会的基本技艺，为后续的行动生成打下了基础。
第二阶段：大家常识学习
尽管第一阶段的模子不错生成任务筹画，但仍缺少推行这些筹画的技艺。为此，需要欺诈鸠合到的任务-行动数据，并通过效法学习磨练模子推行具体操作。经过磨练，模子从一个被迫的筹画生成器调理为大概推行筹画的主动行动生成器。
第三阶段：自我探索擢升
大家数据的障翳范围有限，无法囊括统统可能的任务场景。为此，该团队想象了自我探索机制，将LAM部署在UFO中，UFO是一个开源GUIAgent框架，大概通过交互Windows操作系统中的图形用户界面（GUI）元素来完成任务。让LAM尝试完成之前失败的任务，并从中积攒新的凯旋训戒。
1.任务挑战：模子尝试完成2,284个由GPT-4未管制的任务，通过动态探索生成可能的凯旋轨迹。
2.数据膨胀：在自我探索中，模子生成了496条新凯旋轨迹，将其与之前的大家数据吞并酿成膨胀数据集。
3.模子迭代：通过再次微调，模子进一步擢升了处理复杂任务的技艺，增强了对未知环境的允洽性。
这一阶段完了了从无数据到新数据的自动生成与积攒，膨胀了磨练数据的障翳范围。
第四阶段：奖励模子优化
为了进一步擢升模子的行动质地，在此引入了奖励模子（RewardModel,RM），同期欺诈正负反馈，通过强化学习优化LAM的决议技艺。
实验驱散
离线实验驱散
表格1：不同LAM磨练阶段的离线实验驱散
为了考证磨练要领的灵验性，该团队在435个任务上对不同阶段的LAM模子进行了离线测试。如表格1的实验驱散炫夸，LAM的各阶段的磨练王人带来了模子性能擢升。
环境适配
图5：LAM智能体架构
如图5所示，经过磨练的LAM模子被集成到GUI智能体UFO的AppAgent中看成推理引擎，后者充任桥梁，将LAM权衡的动作「着地」为可推行的本色操作。
线上实验驱散
表格2：LAM的线上实验驱散
如表格2所示，LAM在线上实验任务中凯旋率（TSR）方面阐发优异，达到71.0%，在文本输入款式下特出了基线模子（GPT-4o和GPT-4oMini）。
效用对比
LAM在职务完成时代和平均步时延上展现了显赫上风：
1.任务完成时代：LAM完成单个任务平均耗时仅30.42秒，比拟之下，无视觉输入的GPT-4o耗时86.42秒，约为LAM的2.84倍，而带视觉输入的GPT-4o耗时更长，为96.48秒。
2.平均步时延：LAM的每步时延为5.41秒香港六合彩开奖记录历史，显赫优于无视觉输入的GPT-4o（12.84秒）和带视觉输入的GPT-4o（19.36秒）。