genai：Rust 的多 AI 模型库

在人工智能快速发展的今天，各种大型语言模型（LLM）层出不穷，为开发者提供了丰富的选择。然而，每个模型都有其独特的 API 和使用方法，这给开发者带来了不少困扰。试想一下，如果要在一个项目中使用多个不同的 LLM，开发者需要学习和维护多套代码，这无疑增加了开发成本和复杂度。

为了解决这个问题，Rust 社区涌现出一个名为 genai 的开源库。genai 的目标是为多个主流 LLM 提供统一、简洁的 API，从而简化开发流程，让开发者能够更专注于业务逻辑的实现，而无需过多关注底层 API 的差异。

genai 的核心优势

genai 之所以能够在众多 Rust LLM 库中脱颖而出，主要得益于以下几个核心优势：

统一 API，简化开发：genai 对 OpenAI、Anthropic、Cohere、Ollama 等主流 LLM 的 API 进行了高度抽象，提供了一套统一的接口，开发者无需学习每个模型的 API 细节，即可轻松调用不同模型的功能。
原生实现，轻量高效：与其他依赖于各个模型官方 SDK 的库不同，genai 采用原生代码实现，避免了引入过多的外部依赖，从而保证了库的轻量级和高效性。
专注聊天场景，易于上手：genai 目前主要关注文本聊天相关的 API，并提供了简洁易懂的示例代码，即使是初学者也能快速上手。

genai 使用示例

为了让大家更好地理解 genai 的使用方法，下面我们以一个简单的问答程序为例，演示如何使用 genai 调用不同的 LLM 模型：

use genai::chat::{ChatMessage, ChatRequest};
use genai::client::Client;
use genai::utils::{print_chat_stream, PrintChatStreamOptions};

const MODEL_OPENAI: &str = "gpt-3.5-turbo";
const MODEL_ANTHROPIC: &str = "claude-3-haiku-20240307";

#[tokio::main]
async fn main() -> Result<(), Box<dyn std::error::Error>> {
    let question = "生命的意义是什么？";

    let chat_req = ChatRequest::new(vec![
        ChatMessage::user(question),
    ]);

    let client = Client::default();

    let print_options = PrintChatStreamOptions::from_stream_events(true);

    for model in [MODEL_OPENAI, MODEL_ANTHROPIC] {
        println!("\n===== 模型: {} =====", model);

        println!("\n--- 问题:\n{}", question);

        println!("\n--- 回答: (一次性响应)");
        let chat_res = client.exec_chat(model, chat_req.clone(), None).await?;
        println!("{}", chat_res.content.as_deref().unwrap_or("无答案"));

        println!("\n--- 回答: (流式响应)");
        let chat_res = client.exec_chat_stream(model, chat_req.clone(), None).await?;
        print_chat_stream(chat_res, Some(&print_options)).await?;

        println!();
    }

    Ok(())
}

在这个例子中，我们首先定义了两个模型的名称：MODEL_OPENAI 和 MODEL_ANTHROPIC。然后，我们创建了一个 ChatRequest 对象，用于存储用户的问题。接下来，我们使用 Client 对象分别调用 exec_chat 和 exec_chat_stream 方法，以获取一次性响应和流式响应。最后，我们将模型的回答打印到控制台上。

genai 的未来发展方向

genai 目前还处于早期开发阶段，但已经展现出了巨大的潜力。未来，genai 计划在以下几个方面进行扩展和改进：

支持更多模型：genai 将逐步添加对更多 LLM 模型的支持，包括 AWS Bedrock、Google VertexAI 等，进一步丰富开发者的选择。
增强功能性：genai 将逐步添加对图像、音频等多模态数据以及函数调用的支持，以满足更广泛的应用场景需求。
优化性能：genai 将持续优化代码结构和算法，以提升库的运行效率和资源利用率。