LLM相关术语理解

读论文时有好多模型或者专业名词不理解，有时候问了GPT又记不住，故此记录

BiLSTM & MLP

是的，抱歉之前的回答可能有些混淆。在这个上下文中，"a continuous sequence of numbers"指的是通过Prompt Encoder中的BiLSTM生成的隐藏状态序列，而"the embedding layer"指的是MLP（多层感知机）。

具体来说：

1. BiLSTM（双向长短时记忆网络）：Prompt Encoder中的BiLSTM负责将伪提示( p )转换为一个连续的数值序列，即隐藏状态序列。这个序列是通过在两个方向（前向和后向）处理输入来捕获上下文信息和令牌之间的关系。

2. MLP（多层感知机）：隐藏状态序列（a continuous sequence of numbers）通过ReLU激活的MLP作为最后一个步骤进行处理。MLP将隐藏状态序列作为输入，并进一步转换为最终的提示嵌入（( e_P )）。MLP可以看作是一个神经网络层，它通过一系列非线性变换来提取和组合隐藏状态中的高级特征，并生成用于指导语言模型生成代码摘要的最终嵌入向量。

因此，BiLSTM和MLP分别对应了生成连续数值序列和最终嵌入向量的过程。BiLSTM通过处理输入生成连续数值序列，然后这个序列通过MLP进行进一步处理，生成最终的提示嵌入向量，用于指导语言模型生成代码摘要。

Early stopping

在机器学习中，早停策略（early stopping）是一种防止过拟合的技术。它的工作方式是在训练时监视模型在验证集上的表现。如果在连续的若干轮次（epochs）中，模型在验证集上的表现没有改善，那么训练就会提前停止。这种策略可以帮助我们避免在训练数据上过度训练模型，从而导致在未知数据（如测试集）上表现不佳。

"Early stopping patience"是早停策略中的一个参数，表示我们愿意容忍模型在验证集上的表现在多少轮次内没有改善。在你提到的这个例子中，早停耐心被设置为4，这意味着如果模型在连续的4个轮次中，验证集上的BLEU得分没有改善，那么训练将提前结束。

BLEU（Bilingual Evaluation Understudy）得分是一种常用于评估机器翻译或文本生成任务的度量标准，它比较了机器生成的文本和人工编写的参考文本之间的相似性。在这个情况下，它被用来衡量代码摘要生成的质量。

LLM Agent

"Agent"这个词在计算机科学和人工智能领域中通常被用来表示一个自主的、可以执行某种任务的实体。这个实体可以是一个软件程序，也可以是一个硬件设备，它具有一定的智能，可以根据环境的变化调整自己的行为。

在你提供的这段文本中，“RepairAgent”是一个基于机器学习的自主代理，用于自动修复程序。这意味着它是一个可以自主运行的软件实体，能够学习如何修复编程错误，并在检测到这些错误时自动进行修复。这个代理的"智能"来自于机器学习模型，该模型可以从大量的数据中学习到如何有效地进行程序修复。

总的来说，"Agent"在这种上下文中的含义是一个具有一定智能，能够执行特定任务的实体。

generateed by gpt-4

A promising way of using these abilities are LLM-based agents that autonomously plan and execute actions to achieve a goal. The basic idea is to query the LLM with a prompt that contains the current state of the world, the goal to be achieved, and a set of actions that could be performed next. The model than decides which action to perform, and the feedback from performing the action is integrated into the next prompt. One way to represent “actions” is through tools that the model can invoke to interact with the world [26], [27]

利用这些能力的一种有前途的方法是基于 LLM 的代理，它可以自主规划和执行行动以实现目标。其基本思路是向 LLM 询问一个提示，其中包含当前世界的状态、要实现的目标以及下一步可以执行的一系列行动。然后由模型决定执行哪项操作，并将执行操作的反馈整合到下一个提示中。表示 "行动 "的一种方法是通过模型可以调用的工具与世界进行交互[26]，[27]。

摘自某篇论文

个人感觉有点类似于强化学习中提到的智能体Agent这个概念？