跳到内容

欢迎来到 Instructor 博客

如果您想查看主博客,可以在这里查看,那里有很多关于 Instructor 和 OpenAI 的文章,以及关于如何通过结构化提示进行构建的思考。本博客将更侧重于 JavaScript 库的技术细节。

适用于开源和本地 LLM 的结构化输出

最初,Instructor 仅通过 OpenAI SDK 实现 API 交互,并侧重于通过集成 Zod 进行结构化数据验证和序列化来实现函数调用。

随着时间的推移,我们通过集成 JSON 模式扩展了我们的工具包,从而增强了我们对视觉模型和开源模型的适应性。这一进展现在使我们能够支持广泛的模型,从 GPTMistral 到几乎所有可以通过 OllamaHugging Face 访问的模型。有关如何利用 JSON 模式与各种模型集成的更多见解,请参阅我们关于Patching的详细指南。

使用 Together 和 Zod 的结构化输出

开源 LLM 正日益普及,Together 发布的 Mistral 模型使得使用 JSON schema 获取结构化输出成为可能。您可以使用 JSON schema 获取结构化输出,而不是依赖模型的默认输出模式。这种方法是广泛进行提示工程的一种省时替代方案。

阅读完这篇博文,您将学会如何有效地将 instructor 与 Togethers 一起使用。但在继续之前,我们首先探讨一下 Patching 的概念。

使用 Anyscale 和 Zod 的结构化输出

开源 LLM 正日益普及,Anyscale 发布的 Mistral 模型使得使用 JSON schema 获取任何规模的结构化输出成为可能。您可以使用 JSON schema 获取结构化输出,而不是依赖模型的默认输出模式。这种方法是广泛进行提示工程的一种省时替代方案。

阅读完这篇博文,您将学会如何有效地将 instructor 与 Anyscale 一起使用。但在继续之前,我们首先探讨一下 Patching 的概念。