使用Spring Boot和Langchain探索JLAMA图书馆

大型语言模型(LLM)正迅速改变着编程领域。LLM能够理解和生成文本，甚至根据文本提示生成代码，为开发者提供了强大的辅助工具。本文将探讨如何利用jlama库将LLM集成到Java生态系统中，并结合Spring Boot和Langchain框架，演示其在实际应用中的强大功能。

jlama库是一个纯Java实现的LLM库，支持多种使用方式，既可作为命令行工具，也可作为依赖项直接集成到您的项目中。本文将重点介绍如何将其与Spring Boot项目集成。

功能亮点与先决条件

jlama库需要Java 20及以上版本，因为它使用了Java的向量API。如果您已经熟悉Langchain，那么将它与jlama集成将会非常便捷，Langchain提供的工具可以简化与LLM的交互过程。

本例中的Spring Boot项目包含两个端点，用于与LLM模型交互：

• 一个直接使用jlama配置的端点。
• 一个结合Langchain和jlama的端点。

项目实现

1. 直接使用jlama的端点

该端点直接配置jlama库，根据用户提交的提示生成响应。

@PostMapping("/jlama")
public ResponseEntity chatJlama(@RequestBody ChatPromptRequest request) {
    PromptContext context;
    if (abstractModel.promptSupport().isPresent()) {
        context = abstractModel.promptSupport()
                .get()
                .builder()
                .addSystemMessage("You are a helpful chatbot providing concise answers.")
                .addUserMessage(request.prompt())
                .build();
    } else {
        context = PromptContext.of(request.prompt());
    }

    System.out.println("Prompt: " + context.getPrompt() + "\n");
    Generator.Response response = abstractModel
            .generate(UUID.randomUUID(), context, 0.0f, 256, (s, f) -> {});
    System.out.println(response.responseText);

    return ResponseEntity.ok(new ChatPromptResponse(response.responseText));
}

代码首先配置所需的模型。如果本地不存在，jlama会自动下载到指定目录。然后，创建提示上下文并使用jlama生成响应。

Flowise

一款开源的低代码/无代码AI应用开发工具

下载

// 定义模型和下载目录
String model = "tjake/llama-3.2-1b-instruct-jq4";
String workingDirectory = "./models";

// 下载或加载本地模型
File localModelPath = new Downloader(workingDirectory, model).huggingFaceModel();

// 加载模型
ModelSupport.loadModel(localModelPath, DType.F32, DType.I8);

2. Langchain和jlama结合的端点

第二个端点利用Langchain简化了与jlama的交互。

@PostMapping("/langchain")
public ResponseEntity