谷歌前首席科学家杰夫·迪恩曾帮助谷歌发展成为如今人工智能和搜索领域的巨头，他最近接受了Y Combinator创始人Diana Hu的采访。他解释说，人们使用的模型本身越来越不重要，重要的是如何在更大的工具、检索和人工智能代理系统中使用该模型。

他的回答主要围绕上下文工程和协调工具、检索和人工智能代理，从而构建强大的人工智能系统。

使用哪种人工智能模型的重要性正在逐渐降低。

许多人都在纠结该使用哪种人工智能模型，并担心代币耗尽。杰夫·迪恩的回答表明，这些担忧可能使人们忽略了一个更大的机遇：情境工程。

Y Combinator 的面试官 Diana Hu 表示，进步不再是关于更大的模型，然后又说，在她看来，进步越来越是关于“情境工程”。

迪恩同意她的观点，并进一步阐述了这个观点。

Diana Hu问道：

“人工智能的进步过去仅仅意味着更好的模型。有了更多的数据，就可以训练参数更大的模型。”

但近几年来，重点越来越集中在模型本身，不仅仅是模型的大小、参数的数量或更多的数据，还包括检索、工具、内存、代理工具等方方面面，这些最终可能会整合到人们所说的上下文工程中，对吧？”

杰夫·迪恩对此表示赞同，他认为人们选择使用的AI模型只是人们所做事情的一部分。他指出，真正重要的是AI模型可以使用的各种工具，以及它如何获取相关信息。因此，他坚持认为，与其将重点放在模型本身并期望它完成任务上，不如为模型配备完成任务所需的工具。

迪恩回答道：

“是啊，我的意思是，我认为这个模型实际上只是你想要做的事情的一部分，那就是构建一个能够解决真正有趣的问题的整体系统。

这需要一个懂得如何使用各种工具的模型。它可能知道如何检索相关信息，可能拥有过去问题检索信息的历史记录。而且，它还能将信息置于模型的上下文中。

多智能体系统的编排正变得日益重要

迪恩继续他的回答，将话题转向了智能体和多智能体编排，这意味着协调人工智能智能体如何使用工具、检索相关信息来解决复杂问题。

他以一个拥有海量训练数据的AI模型为例，并将其与仅需处理与自身任务直接相关的信息的AI模型进行了对比。他最终指出，当模型得到恰当的协调配合时，它就能更好地完成任务，而这正是未来的发展方向。

他继续回答：

“这样做的好处是，这些信息对于模型来说非常清晰，不像模型训练所用的训练数据那样，它就像是把数万亿个令牌混合在一起，变成了一锅包含数千亿或数万亿个参数的大杂烩。

但这一切都不如模型直接面对特定问题或用例时所看到的实际上下文那样清晰。我认为，理解有哪些工具可用，哪些工具能够帮助模型解决问题的下一阶段，如何将问题分解成一系列工具调用，尝试多种方法来解决问题并观察哪些方法有效，以及评估这些方法的效果，都至关重要。

我认为，复杂智能体和多智能体系统的整个协调过程将会变得越来越重要，而且这将是一个令人无比兴奋的时代。

Jeff Dean关于如何更好地进行上下文工程的建议

Diana Hu 接过了 Dean 关于上下文工程的话题，并向他请教了一些提高上下文工程水平的技巧。

胡问道：

“我认为这个特定问题领域的有趣之处在于，在座的各位实际上都可以做到，因为以前，要训练一个模型，你需要大量的资源，大量的 GPU 和数据访问权限。

但就上下文工程而言，这里每个人都能做到。

你只需要像 Gemini 这样的 API，然后就可以自己搭建自己的检索系统、自己的工具调用系统等等。

那么，大家有什么建议吗？如何才能提高上下文工程水平，成为这方面的佼佼者呢？

迪恩回答说，失败是理解如何改进才能在解决问题中取得正确结果的过程的一部分。他回答的有趣之处在于，他以调整模型以更好地解决问题（这是一项巨大的工程）为例，并将其与制定更好的指导方针和培养技能进行了对比。

迪恩解释说

“是啊，我的意思是，我认为一个非常好的方法是利用这些模型、各种工具等等来尝试解决问题。然后有时候你就能真正看出模型在哪些方面出了问题。”

而且，通常情况下，你不仅可以通过调整模型参数（这从外部很难做到），还可以通过为模型创建更好的指导方针，为模型编写技能，使其知道如何使用不同的工具来解决这类问题，从而使模型更好地工作并成功解决这类问题。

我认为，这样做最终会让你不断改进、自我完善你用来解决问题的方案。这确实是更好地理解模型需要哪些额外信息才能变得更强大的好方法。

要点总结

  • 人工智能模型正逐渐成为更大型人工智能系统的一个组成部分。

  • 上下文工程越来越侧重于协调工具、检索和人工智能代理。

  • 更好的人工智能结果往往来自于改进模型周围的系统，而不是模型本身。

  • 提高人工智能的成果通常意味着从错误中吸取教训，以便制定更好的指导方针和提升技能。