지난해에는 이미지 생성이든 챗봇이든, 거대하고 전문적인 실행 도구로 확장하는 등 사용자의 삶을 편리하게 해주는 인공지능이 탑재된 수많은 도구가 등장했습니다. 프로세스.

저는 chatgpt, gemini, dall-e 또는 midjourney에서 이러한 많은 도구를 연구하고 배우고 테스트해 왔습니다. 모두 매우 잘 작동하지만 이러한 도구를 사용하여 애플리케이션을 확장하려고 할 때 해당 도구에 유용한 도구가 없다는 것을 알게 되었습니다. 무료 또는 공개 대체 소스.

이를 통해 연구를 한 단계 더 발전시킬 수 있었고 안정적인 확산 UI(이미지 생성, https://github.com/AUTOMATIC1111/stable-diffusion-webui)와 *를 접하게 되었습니다. ollama *(Chatbot, https://ollama.com/), 둘 다 서비스를 API로 실행하여 사용할 수 있게 해주는 오픈 소스 도구입니다. 이를 통해 오픈 소스 대안을 통해 한 단계 더 나아갔지만 이것이 작동하려면 애플리케이션에서 사용할 수 있도록 이러한 도구를 계속 실행해야 합니다.

이 기능을 애플리케이션에 적용하는 방법을 이해하려면 이러한 도구의 작동 방식을 이해하는 것이 중요합니다. 기본적으로 도구가 수행하는 작업은 LLM 또는 대규모 언어 모델인 "safetensors" 확장자가 있는 파일을 사용하는 것입니다. 이러한 모델은 수행하도록 훈련되었습니다. 훈련하는 사람의 필요에 따라 다른 기능을 제공합니다. (예: 이미지 생성, 번역, 코드 개발, 챗봇 등)

LLM 모델과 "safetensors" 파일에 대해 조금 이해하면 다음과 같은 질문을 얻게 됩니다. 내 응용 프로그램에서 이러한 파일을 사용하는 방법, 이것이 오픈 소스 인공 지능의 웹 사이트/데이터베이스인 HugginFace가 등장하는 곳입니다. 모델을 만들고 우리가 원하는 "Transformers" 및 "Diffusers"에 대한 2개의 매우 유용한 구성 요소를 포함하는 Python용 자체 라이브러리를 만들었습니다.

*Transformers *(https://huggingface.co/docs/transformers/index)는 오디오를 텍스트로 또는 그 반대로 변환하는 등 특수한 텍스트 모델을 사용할 수 있게 해주는 구성 요소입니다. 무엇보다도 메타 불꽃으로서의 채팅박스.

수입 변압기

import torch

model_id = "meta-llama/Llama-3.1-8B"

pipeline = transformers.pipeline(
    "text-generation", model=model_id, model_kwargs={"torch_dtype": torch.bfloat16}, device_map="auto"
)

pipeline("Hey how are you doing today?")

디퓨저 (https://huggingface.co/docs/diffusers/index)는 안정적인 확산과 같은 이미지 생성에 특화된 모든 모델을 사용할 수 있게 해주는 구성 요소입니다.

from diffusers import AutoPipelineForText2Image
import torch

pipe = AutoPipelineForText2Image.from_pretrained("stabilityai/sdxl-turbo", torch_dtype=torch.float16, variant="fp16")
pipe.to("cuda")

prompt = "A cinematic shot of a baby racoon wearing an intricate italian priest robe."

image = pipe(prompt=prompt, num_inference_steps=1, guidance_scale=0.0).images[0]

이 프로세스는 LLM 모델 추론으로 알려져 있으며 여기에서 이 정보를 기반으로 Python을 사용하여 다양한 애플리케이션에 인공 지능을 적용할 수 있습니다.

또한 nodejs와 같은 다른 언어로 모델 추론을 사용하려고 시도했지만 실제로는 Python만큼 잘 작동하지 않는다는 점에 유의해야 하지만 LLM에는 강력한 하드웨어가 필요하다는 점을 언급하는 것이 중요합니다. ChatGPT 또는 Gemini API를 사용하여 적절한 하드웨어 구매에 지출할 수 있는 비용을 절약할 수 있도록 추론을 모델화합니다.

이것이 제 첫 번째 기사입니다. 소프트웨어 개발에서 LLM 모델을 사용하는 방법이 이 경로의 단계를 건너뛰는 데 도움이 되기를 바랍니다.