Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

Eval

eval은 Artifact를 검사하는 단위입니다. 바뀌지 않는 로컬 ID, 통과 조건을 나타내는 제목, 리뷰 주체를 정하는 프로필을 설정하세요. 예를 들어 library Artifact의 [evals.tests]는 전체 ID가 library/tests입니다.

세 종류의 eval은 실행부터 끝날 때까지의 처리 방식과 결과 재사용 규칙이 같습니다.

종류리뷰어판정
Agent미리 선언된 읽기 전용 도구로 리뷰하는, 선택한 백엔드의 지정 모델스키마로 검사한 추가 결과 필드와 함께 GREEN 또는 RED
Human대기 중인 요청을 맡아 승인을 제출하는 사람스키마로 검사한 추가 결과 필드와 함께 GREEN 또는 RED
Runtime선언한 프로그램과 인자 목록종료 코드 0이면 GREEN, 그 밖이면 RED

실행에 실패했거나 모델 결과가 잘못되면 RED가 아니라 ERROR입니다. RED는 Artifact가 통과 조건을 충족하지 못했다는 eval의 판정을 뜻합니다. 어느 종류든 입력과 기준이 그대로인 동안은 재사용할 수 있습니다.

평가 기준은 payload.instruction에 쓰세요. Agent와 Human eval에서는 pass_schema와 fail_schema가 eval 작성자가 정한 추가 결과 필드를 정하고, 판정은 artifactize가 덧붙입니다. 추가 필드를 허용하지 않는 결과 형식, 예약된 이름, 스키마를 생략했을 때 판정만 돌려주는 기본 응답은 결과 필드 스키마를 보세요. Runtime eval은 결과 필드 스키마 대신 명령의 종료 상태를 씁니다. 이름을 붙인 profile_variants를 두면 호출하는 쪽이 다른 실행 프로필을 고를 수 있습니다. Agent 변형은 리뷰를 실행하는 방식만 바꾸지만, 명령이나 인자가 다른 Runtime 변형은 별도의 재사용 키와 입력을 쓰는 다른 eval입니다. 선언을 보세요.

의존성은 해당 입력을 쓰는 eval에만 적용됩니다. 입력 Artifact를 지시문이나 Runtime 인자에 {name}으로 적으세요. eval 의존성을 보세요.

실제 입력만 선언하세요. eval은 대상 Artifact와, 지시문이나 Runtime 인자가 가리키는 Artifact만 볼 수 있습니다. 예를 들어 지시문이 Check {app} against {spec}.인 app/review는 app과 spec을 읽고 그 도구를 쓸 수 있습니다. 하지만 app 폴더 안에 선언된 폴더 Artifact ui처럼 app의 부분인 Artifact나, spec의 eval이 참조하는 Artifact에는 접근할 수 없습니다. ui도 읽으려면 Check {app} and {ui} against {spec}.처럼 이름을 적으세요. 도구 인자에 Artifact를 적는다고 입력이 늘어나지는 않습니다.

eval의 도구가 읽을 수 있는 Artifact는 곧 재사용 여부를 정하는 Artifact(재사용 키)이자 실행 전에 결과가 나와야 하는 Artifact(eval 의존성)입니다. Runtime 명령은 이렇게 제한되지 않으므로, 명령이 파일을 쓰는 Artifact는 모두 이름으로 적으세요.

artifactize verify library/tests --wait는 eval 하나로 Run을 시작합니다. 먼저 artifactize status library/tests로 무엇을 재사용할 수 있고 무엇을 리뷰해야 하는지 확인하세요. status는 fingerprint를 계산하지만 eval을 실행하지는 않습니다.