[2

大语言模型（LLMS）正在改变包括软件开发在内的各种字段。 他们理解和生成文本（和其他数据类型）的能力可以从文本提示中实现代码建议，更正甚至生成。本文探讨了 jlama

）。我们将通过将其集成到 spring boot 应用程序。，因为它使用Java Vector API。 现有的 langchain 用户可以将其集成到Jlama，利用Langchain的工具进行简化的LLM交互。 此示例项目具有两个通过提示与LLMS交互的端点：

仅jlama-仅端点。 langchain和jlama组合端点。

jlama endpoint 此端点直接利用JLAMA根据用户提示生成响应。 [2 公共响应 chatjlama（@requestbody chatpromptrequest请求）{ presscontext上下文; if（AbstractModel.promptSupport（）。ispresent（））{ context = AbstractModel.promptsupport（） 。得到（） .builder（） .addsystemmessage（“您是提供简洁答案的有用的聊天机器人。”） .addusermessage（request.prompt（）） 。建造（）; } 别的 { context = justmentContext.of（request.prompt（））; } system.out.println（“提示：” context.getPrompt（）“ \ n”）; Generator.Response响应= AbstractModel 。 system.out.println（response.responseText）; return wendersentity.ok（new chatpromptresponse（wendys.responseText））; }

//从拥抱脸部定义下载的模型和目录（如果需要） 字符串模型=“ tjake/llama-3.2-1b-instruct-jq4”; 字符串WorkingDirectory =“ ./models”; //下载（如有必要）或在本地检索模型 文件localModelPath = new downloader（workingDirectory，model）.huggingfaceModel（）; //加载模型 ModelsUpport.LoadModel（localModelPath，dtype.f32，dtype.i8）;

langchain和jlama endpoint
此端点使用兰链，减少了jlama互动所需的代码。

这个项目的灵感来自Isidro教授在Soujava的演讲。 [链接到演示文稿（如果可用，请替换为实际链接）] 有用的文档：

@PostMapping("/jlama") // Endpoint for JLama chat functionality
public ResponseEntity chatJlama(@RequestBody ChatPromptRequest request) {
    PromptContext context;
    if (abstractModel.promptSupport().isPresent()) {
        context = abstractModel.promptSupport()
                .get()
                .builder()
                .addSystemMessage("You are a helpful chatbot providing concise answers.")
                .addUserMessage(request.prompt())
                .build();
    } else {
        context = PromptContext.of(request.prompt());
    }

    System.out.println("Prompt: "   context.getPrompt()   "\n");
    Generator.Response response = abstractModel
            .generate(UUID.randomUUID(), context, 0.0f, 256, (s, f) -> {});
    System.out.println(response.responseText);

    return ResponseEntity.ok(new ChatPromptResponse(response.responseText));
}