Serverless Inference

W&B Weave と OpenAI 互換 API 経由でオープンソースの基盤モデルにアクセス

Serverless Inference を使うと、W&B Weave と OpenAI 互換 API 経由で主要なオープンソースの基盤モデルにアクセスできます。

• Inference を使うと、ホスティングプロバイダーへの登録やモデルのセルフホスティングをせずに、AI アプリケーションやエージェントを構築できます。
• Weave を使うと、Serverless Inference を利用したアプリケーションをトレース、評価、監視、改善できます。

​

UI で Inference を試す

https://wandb.ai/inference にアクセスして、利用可能なモデルを確認し、Weave Playground で試してみてください。

Web インターフェイスの詳細については、UI Guide を参照してください。

​

API 経由で Inference を使用する

この Python の例では、Inference を使用して LLM への chat completion リクエストを送信します。

import openai

client = openai.OpenAI(
    # カスタムベースURLはServerless Inferenceを指しています
    base_url='https://api.inference.wandb.ai/v1',

    # Create an API key at https://wandb.ai/settings
    api_key="<your-api-key>",

    # Optional: Team and project for usage tracking
    project="<your-team>/<your-project>",
)

response = client.chat.completions.create(
    model="meta-llama/Llama-3.1-8B-Instruct",
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "Tell me a joke."}
    ],
)

print(response.choices[0].message.content)

​

次のステップ

1. 前提条件に従ってアカウントを設定してください。
2. 利用可能なモデルと利用情報と制限を確認してください。
3. APIまたはUIからサービスを使用してください。
4. W&B Weave Playgroundでサポートされるモデルを試してください。
5. 使用例を試してください。

料金、利用制限、クレジットについては、利用情報と制限を参照してください。