Weave 프로젝트 관리

트레이스, 프롬프트, 평가, 모델, 대시보드와 같은 관련 자산을 정리하려면 Weave 프로젝트를 사용하세요.

Weave 프로젝트는 트레이스, 평가, 모델, 데이터셋, 기타 Weave 자산 등 관련 자산을 체계적으로 정리해 줍니다. 프로젝트를 사용하면 팀을 체계적으로 관리하고, 협업과 공유를 간소화하며, 시간이 지나면서 LLM 애플리케이션이 어떻게 발전하는지 추적할 수 있습니다.

이 페이지에서는 Weave 프로젝트에 어떤 리소스가 포함되는지, 프로젝트 경로가 어떻게 작동하는지, 그리고 W&B UI 또는 Weave SDK를 사용해 프로젝트를 생성, 조회, 삭제하는 방법을 설명합니다.

​

프로젝트 리소스

프로젝트에는 다음 리소스가 저장됩니다.

리소스	설명
트레이스	디버깅과 분석을 위해 입력, 출력, 지연 시간, 토큰 사용량을 기록하는 개별 LLM 호출, 함수 실행, 애플리케이션 흐름입니다. 트레이스를 참조하세요.
평가	품질, 정확도 및 기타 메트릭을 측정하기 위해 scoring functions를 사용해 데이터셋 대비 모델 성능을 비교한 테스트 결과입니다. 평가를 참조하세요.
Monitors	프로덕션에서 시간 경과에 따른 품질 메트릭을 추적하기 위해 LLM-as-a-judge scorers를 사용해 함수 호출의 일부를 자동으로 점수화하는 백그라운드 프로세스입니다. Monitors를 참조하세요.
Leaderboards	서로 다른 evaluation run 전반에서 모델 성능을 순위별로 비교하여 가장 성능이 좋은 설정을 파악하는 데 도움이 되는 비교입니다. Leaderboards를 참조하세요.
Threads	전체 사용자 상호작용을 분석하기 위해 관련 호출을 동일한 thread ID 아래에 묶는 멀티턴 대화 및 세션 기반 워크플로입니다. Threads를 참조하세요.
Assets	Assets 탭은 프로젝트의 버전 관리 객체를 저장하고 정리합니다: Models: 재현성과 비교를 위해 변경 사항을 자동으로 추적하면서 프롬프트, 매개변수, 설정을 담는 버전 관리 모델 정의입니다. Models를 참조하세요. 데이터셋: 다운로드, 탐색, evaluation 실행에 사용할 수 있도록 Weave 객체로 저장된 테스트 예시 모음입니다. 데이터셋를 참조하세요. Prompts: 모델 설정에서 테스트하고 재사용할 수 있는 버전 관리 시스템 프롬프트입니다. Prompts를 참조하세요. Scorers: 품질, 안전성 또는 커스텀 메트릭을 측정하기 위해 모델 입력과 출력을 평가하는 함수입니다. Scorers를 참조하세요. Ops: @weave.op()으로 데코레이션되어 호출을 생성하고 함수 수정 이력을 유지하는, 자동으로 버전 관리되고 추적되는 함수입니다. Ops를 참조하세요. Other objects and metadata: 프로젝트 내에 저장된 추가 Weave 객체, 맞춤형 유형, 관련 메타데이터입니다.

​

프로젝트 경로

팀 (entities라고도 함)는 W&B 조직에서 프로젝트를 소유하고 관리합니다. 팀 이름과 프로젝트 이름을 합치면 W&B UI에서 해당 프로젝트의 경로가 됩니다. 코드에서도 이 경로를 사용해 Weave 리소스를 프로젝트에 연결합니다.

예를 들어, 팀 이름이 my-team이고 프로젝트 이름이 my-project이면 프로젝트 경로는 다음과 같습니다:

my-team/my-project

코드에서 Weave를 초기화할 때 앱 데이터를 프로젝트에 연결하려면 이 경로를 사용하세요:

weave.init('my-team/my-project')

​

프로젝트 만들기 및 찾기

W&B UI를 사용하거나 코드에서 새 프로젝트 경로를 설정해 Weave 프로젝트를 만들 수 있습니다.

W&B UI

W&B UI를 사용해 새 프로젝트를 만들려면 다음 단계를 따르세요.

1. wandb.ai로 이동합니다.
2. New project를 선택합니다. 그러면 Create a new project 모달 대화상자가 열립니다.
3. 모달에서 다음 필드를 설정합니다.
   • Team: 프로젝트를 연결할 기존 팀입니다.
   • Name: 프로젝트 이름입니다.
   • Project visibility: 프로젝트를 보고 편집할 수 있는 사용자 범위입니다.
   • 설명: (선택 사항) 프로젝트의 목적을 추적하고 정리하는 데 도움이 되는 짧은 설명입니다.
4. 필요한 필드를 설정한 후 Create project를 선택합니다. W&B가 프로젝트를 생성하고 해당 워크스페이스를 엽니다.

새로 만든 프로젝트를 찾으려면 왼쪽 상단의 Weights & Biases 로고를 선택해 Global navigation 메뉴를 엽니다. 이 메뉴에는 최근 프로젝트와 자신이 속한 팀가 표시되므로 컨텍스트를 전환할 수 있습니다. 프로젝트를 선택하면 해당 프로젝트의 워크스페이스가 열립니다.

또는 오른쪽 상단에서 이름 아래 메뉴의 Profile을 엽니다. Projects 탭에는 모든 프로젝트가 나열됩니다.

새 프로젝트의 워크스페이스를 열면 UI에서 W&B Models와 W&B Weave 모두에 대한 퀵스타트를 제공합니다. 프로젝트의 툴바에도 각 product에 대한 도구가 포함되어 있습니다. 코드를 통해 Weave 데이터를 프로젝트에 연결하면 사이드바에는 Weave 도구만 표시되고 Weave 대시보드를 사용할 수 있게 됩니다.

Weave SDK

코드에서 직접 Weave 프로젝트를 만들려면 weave.init()에 새 프로젝트 경로를 인수로 전달합니다.

Python

import weave

weave.init('my-team/my-llm-app')

import * as weave from 'weave';

await weave.init('my-team/my-llm-app');

코드를 실행하면 Weave가 W&B 계정에 새 프로젝트를 만들고 run의 해당 데이터를 프로젝트에 업로드합니다. 또한 Weave는 프로젝트를 Weave 프로젝트로 설정하며(W&B Models 프로젝트는 아님), UI 사이드바에는 Weave 도구만 표시됩니다.

​

UI에서 프로젝트 보기

Weave UI에서 프로젝트에 액세스하려면 다음 단계를 따르세요.

1. wandb.ai로 이동합니다.
2. 왼쪽 상단의 Weights & Biases 로고를 선택해 Global navigation menu를 연 다음, Projects 사이드바에서 프로젝트를 선택합니다. 그러면 프로젝트의 Overview 페이지가 열리며, 이미 해당 프로젝트에 트레이스를 로깅했다면 트레이스 페이지가 열립니다.
3. Overview 페이지에서는 다음 작업을 할 수 있습니다.
   • 프로젝트에 로깅된 트레이스 수와 프로젝트가 사용 중인 저장소 용량 등 프로젝트 통계를 검토할 수 있습니다.
   • 사이드바를 사용해 트레이스, 평가 및 기타 리소스로 이동할 수 있습니다.
   • 최근에 로깅된 트레이스, 평가, 모델 및 데이터셋로 이동할 수 있습니다.

​

프로젝트 삭제

프로젝트를 삭제하면 되돌릴 수 없으며, 연결된 모든 트레이스, 평가, 모델, 데이터셋 및 기타 리소스가 W&B 계정에서 제거됩니다.

W&B 계정에서 프로젝트를 삭제하려면 다음 단계를 따르세요.

1. wandb.ai로 이동합니다.
2. Projects 사이드바에서 프로젝트를 선택합니다. 그러면 프로젝트의 Overview 페이지가 열리고, 이미 해당 프로젝트에 트레이스를 로깅한 경우에는 트레이스 페이지가 열립니다.
3. 아직 열려 있지 않다면 사이드바에서 프로젝트 () 버튼을 선택해 프로젝트의 Overview 페이지를 엽니다.
4. 액션 () 메뉴를 선택한 다음 목록에서 프로젝트 삭제를 선택합니다. 그러면 프로젝트 삭제 모달 대화상자가 열립니다.
5. 모달에서 확인 필드에 프로젝트 이름을 입력하고 삭제를 선택합니다. W&B가 계정에서 프로젝트를 영구적으로 삭제합니다.