跳过内容

2024

面向开源和本地 LLM 的结构化输出

最初,Instructor 只通过 OpenAI SDK 促进 API 交互,并通过集成 Zod 进行结构化数据验证和序列化,重点强调函数调用。

随着这一年的进展,我们通过集成 JSON 模式 扩展了我们的工具包,从而增强了我们对视觉模型和开源模型的适应性。这一进步使我们现在能够支持广泛的模型,从 GPTMistral 到几乎可以通过 OllamaHugging Face 访问的任何模型。有关如何将 JSON 模式与各种模型结合使用的更多见解,请参阅我们关于 补丁 (Patching) 的详细指南。

使用 Together 和 Zod 实现结构化输出

开源 LLM 越来越受欢迎,Together 发布了 Mistral 模型,使得使用 JSON schema 获取结构化输出成为可能。无需依赖模型的默认输出模式,您可以使用 JSON schema 获取结构化输出。这种方法是替代大量提示工程的省时方案。

阅读完这篇博客文章后,您将学会如何有效利用 instructor 与 Togethers。但在继续之前,让我们先探讨一下补丁 (patching) 的概念。

使用 Anyscale 和 Zod 实现结构化输出

开源 LLM 越来越受欢迎,Anyscale 发布了 Mistral 模型,使得在任何规模下使用 JSON schema 获取结构化输出成为可能。无需依赖模型的默认输出模式,您可以使用 JSON schema 获取结构化输出。这种方法是替代大量提示工程的省时方案。

阅读完这篇博客文章后,您将学会如何有效利用 instructor 与 Anyscale。但在继续之前,让我们先探讨一下补丁 (patching) 的概念。