Ollama, NGROK 및 LangChain 설정

Source: Dev.to

이 게시물은 Ollama를 ngrok과 함께 빠르게 설정하고 LangChain에서 사용하는 방법을 보여줍니다.

---

Ollama

Linux, macOS, Windows용 Ollama를 쉽게 다운로드할 수 있습니다:

👉

실행 중인지 확인하기

curl http://localhost:11434; echo   # should output “Ollama is running”

참고: 아무 것도 반환되지 않으면 ollama serve 명령으로 서버를 시작하세요.

원하는 모델을 가져오기

ollama pull phi4-mini
ollama pull nomic-embed-text:v1.5

---

Ngrok

Linux, macOS, Windows용 ngrok을 다운로드하세요:

👉

Note: 인증 토큰을 추가하는 것을 잊지 마세요!

ngrok config add-authtoken 

ngrok으로 Ollama 노출하기 (기본 인증)

ngrok http 11434 \
  --host-header="localhost:11434" \
  --basic-auth="username:password"

이 명령은 공개 URL을 생성합니다. 예시:

https://09c6b3946ddd.ngrok-free.app

브라우저에서 테스트해 볼 수 있습니다:

인증에 성공하면 “Ollama is running” 이 표시됩니다:

/api/tags 엔드포인트를 통해 모델을 확인할 수도 있습니다:

✨ 이전에 가져온 두 모델이 이제 사용 준비가 완료되었습니다.

LangChain 및 Ollama

필요한 Python 패키지를 설치합니다:

pip install langchain langchain-core langchain-ollama

다른 네트워크에서 Ollama (LLM 및 임베딩) 사용

import base64
from langchain_ollama.llms import OllamaLLM
from langchain_ollama.embeddings import OllamaEmbeddings

BASE_URL = "https://09c6b3946ddd.ngrok-free.app"
user_pass = b"username:password"
auth_header = base64.b64encode(user_pass).decode("utf-8")

client_kwargs = {
    "headers": {
        "Authorization": f"Basic {auth_header}"
    }
}

llm = OllamaLLM(
    model="phi4-mini:latest",
    base_url=BASE_URL,
    client_kwargs=client_kwargs,
)

embeddings = OllamaEmbeddings(
    model="nomic-embed-text:v1.5",
    base_url=BASE_URL,
    client_kwargs=client_kwargs,
)

# LLM 테스트
print(llm.invoke("Hello, Ollama LLM =)"))

# 임베딩 테스트
print(embeddings.embed_query("Hello, Ollama Embeddings =)"))

결과 예시:

더 많은 정보

• [Ex…]

셀프 호스팅된 Ollama API 노출 및 보안 강화