设置 Ollama、NGROK 和 LangChain

Source: Dev.to

这篇文章展示了如何快速使用 ngrok 设置 Ollama 并在 LangChain 中使用它。

Source: …

Ollama

您可以轻松下载适用于 Linux、macOS 和 Windows 的 Ollama：

👉

测试是否正在运行

curl http://localhost:11434; echo   # should output “Ollama is running”

注意： 如果没有返回任何内容，请使用 ollama serve 启动服务器。

拉取您偏好的模型

ollama pull phi4-mini
ollama pull nomic-embed-text:v1.5

Ngrok

下载适用于 Linux、macOS 和 Windows 的 ngrok：

👉

注意： 记得添加你的 authtoken！

ngrok config add-authtoken 

使用 ngrok 暴露 Ollama（基本认证）

ngrok http 11434 \
  --host-header="localhost:11434" \
  --basic-auth="username:password"

该命令会生成一个公开 URL，例如：

https://09c6b3946ddd.ngrok-free.app

你可以在浏览器中测试它：

认证成功后，你会看到 “Ollama is running”：

你也可以通过 /api/tags 接口验证模型：

✨ 之前拉取的两个模型现在已经可以使用。

LangChain & Ollama

安装所需的 Python 包：

pip install langchain langchain-core langchain-ollama

使用来自其他网络的 Ollama（LLM 与 Embeddings）

import base64
from langchain_ollama.llms import OllamaLLM
from langchain_ollama.embeddings import OllamaEmbeddings

BASE_URL = "https://09c6b3946ddd.ngrok-free.app"
user_pass = b"username:password"
auth_header = base64.b64encode(user_pass).decode("utf-8")

client_kwargs = {
    "headers": {
        "Authorization": f"Basic {auth_header}"
    }
}

llm = OllamaLLM(
    model="phi4-mini:latest",
    base_url=BASE_URL,
    client_kwargs=client_kwargs,
)

embeddings = OllamaEmbeddings(
    model="nomic-embed-text:v1.5",
    base_url=BASE_URL,
    client_kwargs=client_kwargs,
)

# Test the LLM
print(llm.invoke("Hello, Ollama LLM =)"))

# Test the embeddings
print(embeddings.embed_query("Hello, Ollama Embeddings =)"))

结果示例：

更多信息

• 公开并保护您自托管的 Ollama API