GitHub Models（というかGitHub PAT）でLangChainが使えるかを試してみる。

ChatOpenAIにapi_keyとbase_urlを指定すれば動くようだ。

プレイグラウンドでOpenAI SDKを使ったコードのサンプルが表示可能できるから「そりゃ動くよね」といった感じ。

試す

準備

export AZURE_AI_ENDPOINT=https://models.inference.ai.azure.com
export GITHUB_TOKEN=<YOUR GITHUB PAT>

コード

import os
from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage, SystemMessage

model = ChatOpenAI(
    api_key=os.getenv("GITHUB_TOKEN"),
    base_url=os.getenv("AZURE_AI_ENDPOINT"),
    model="gpt-4o"
)

messages = [
    SystemMessage("Translate the following from English into Italian"),
    HumanMessage("hi!"),
]

print(model.invoke(messages).content)

Build a simple LLM application with chat models and prompt templates | 🦜️🔗 LangChain

出力

Ciao!