Keyboard shortcuts

Press ← or → to navigate between chapters

Press S or / to search in the book

Press ? to show this help

Press Esc to hide this help

TUI

터미널용 Monitor와 Review에서도 다른 인터페이스에서 보는 것과 같은 Run 기록과 Human 요청을 확인할 수 있습니다. CLI와 함께 설치되며, 별도의 터미널 패키지나 서비스는 필요 없습니다. 요청을 직접 맡거나, Human 도구를 실행하거나, 판정을 제출하지 않는 한 목록과 미리 보기를 살펴보기만 해서는 아무것도 바뀌지 않습니다. 다만 선언이 바뀐 대기 중 Human 요청을 열면 그 요청은 ERROR로 끝납니다(아래 Tools 참고).

Review

artifactize review [REQUEST_ID] [--repo PATH | --all] [--state-dir PATH] [--reviewer NAME]

저장된 요청을 검색하고 대기 중인 Human 요청을 리뷰하는 터미널 UI이며, request와 같은 단계를 거칩니다. 맡고, 도구를 실행하고, 담당을 해제하고, 제출하며, 제출한 결과를 request submit과 똑같이 팀 리뷰 저장소에 게시합니다. 작업 중인 터미널은 그대로 두고, 별도의 터미널이나 tmux 창에서 실행하세요.

ID를 지정하지 않으면 상태 디렉터리에 기록된 모든 저장소에서 검색 조건에 맞는 요청을 최신 Run부터 나열합니다. 각 요청에는 eval, 요청 ID, 상태, 담당자, 경과 시간, 저장소가 표시되며, Enter를 누르면 선택한 요청이 열립니다. 처음 검색어는 대기 중인 Human 승인을 뜻하는 kind:human status:waiting_human입니다. --repo PATH는 그 저장소의 repo: 조건을 더하며, --all도 쓸 수 있고 이것이 기본값입니다. 어느 저장소의 요청이든 ID로 열 수 있습니다.

검색어에는 일반 텍스트와 key:value 조건을 함께 쓸 수 있으며, 모든 조건을 만족하는 항목만 표시됩니다. 일반 단어는 저장소 경로, eval, 요청 ID, 맡은 사람 이름에서 대소문자를 구분하지 않고 부분 문자열로 찾습니다. 키를 붙이면 그 필드에서만 찾습니다. 공백이 있는 값은 따옴표로 감싸고(repo:"/work/my repo"), 단어를 글자 그대로 검색하려면 따옴표로 감싸세요("type:style").

조건일치 대상
repo:저장소 경로의 일부
eval:eval ID의 일부
request:요청 ID의 일부
reviewer:맡은 사람 이름의 일부입니다. 맡지 않은 요청은 일치하지 않습니다
tag:eval의 Artifact에 선언된 태그 중 일부(선언의 tags, Run과 함께 저장된 그대로)
kind:eval 종류: runtime, agent, human
status:waiting_human(deferred 승인 포함), green, red, error 같은 요청 상태
is:mine내가 맡은 것($USER 또는 --reviewer)
is:claimed누구든 맡은 것
is:unclaimed아무도 맡지 않은 대기 중인 Human 요청

대기 중인 Human 요청만 맡을 수 있으므로, 그 밖의 요청은 is: 조건의 검색 결과에 포함되지 않습니다. 알 수 없는 키나 값을 쓰면 쓸 수 있는 값을 알려 주는 오류가 나며, 요청은 나열하지 않습니다.

/로 검색어를 편집하며, 입력할 때마다 목록이 갱신됩니다. 검색어를 입력하면 끝에만 추가되며, Backspace로 마지막 글자를 지울 수 있습니다. 방향키로 검색어 안의 커서를 옮길 수는 없습니다. Tab을 누르면 마지막 조건이 자동으로 완성됩니다. 완성 후보는 검색 키이고, 키를 이미 입력했다면 나머지 검색 조건에 맞는 요청의 값(저장소 폴더, eval, 요청, 맡은 사람, 태그)이나 kind, status, is: 값입니다. 후보가 하나면 Tab으로 그 후보를 넣고, 여럿이면 공통 부분까지만 채우며, 후보를 차례로 바꿔 가며 고르지는 않습니다. 아래쪽 안내줄에 후보가 여섯 개까지(그 뒤는 +N) 나오니, 더 입력해서 고르세요. 붙여 넣은 텍스트는 끝에 한 줄로 더해지며, 제어 문자는 공백으로 바뀝니다. 검색을 바꾸거나 완성하면 첫 페이지로 돌아갑니다. Enter나 ↓를 누르면 바꾼 검색어를 유지한 채 편집이 끝납니다. Esc를 누르면 편집 전 검색어로 되돌아가고, Ctrl-U를 누르면 검색어가 지워집니다. 검색어가 비어 있으면 처음의 대기 중인 Human 요청뿐 아니라 모든 종류의 요청이 나옵니다. 한 페이지에는 요청 100개가 나오며, PgDn을 누르면 더 오래된 요청을, PgUp을 누르면 더 새로운 요청을 볼 수 있습니다.

목록에는 대기 중인 승인이 하나씩 나옵니다. 이후 Run의 요청이 대기 중인 Human 실행에 합류하면 원래 요청만 한 번 나열되며, Monitor에서처럼 Human 도구와 결과 필드 스키마는 원래 요청에 기록되고, 담당 지정, 도구 실행, 제출도 모두 원래 요청을 기준으로 처리합니다. 팔로워의 ID로 열어도 원래 요청이 열립니다. 검색 대상은 원래 요청이므로, 팔로워가 속한 저장소를 검색 조건으로 써도 그 요청을 찾을 수 없습니다. 원래 요청이 더 이상 대기 중이 아니면 팔로워도 별도 항목으로 나열됩니다. Human 요청을 고르면 아래에 설명한 Human Detail이 열리며, 확정된 요청은 읽기 전용으로 표시됩니다. 그 밖의 요청을 고르면 Detail이 읽기 전용으로 열립니다. 이 Detail은 Monitor에서 해당 Run의 eval을 열었을 때와 같은 섹션을 보여 주며(d로 섹션을 보여 줌), 저장된 Runtime 출력이나 Agent 대화도 같은 방식으로 표시합니다. 담당 지정, 도구, 양식은 없습니다.

목록과 Detail의 배치는 터미널 크기에 따라 달라집니다(반응형 창). 목록에 초점이 있으면 목록이 Full로, 선택한 요청이 읽기 전용 Preview로 나옵니다. Enter나 →를 누르면 Compact 목록 옆에 Detail이 열립니다. 작은 터미널에서 창을 어떻게 배치하는지는 반응형 창에서 설명합니다. 이동 경로는 artifactize review › search › eval입니다. ↑/↓ 또는 j/k로 요청을 고르고, r로 목록을 새로 고칠 수 있습니다. Tab을 누르면 선택한 요청이 열리고 Tools로 초점이 이동합니다. 목록에서 Esc를 누르면 그 자리에 머물며, 종료되지 않습니다. 단독 UI에는 ? 도움말 오버레이나 ! 주의 항목 이동이 없으며, 그 키는 Monitor에서만 씁니다.

마우스 캡처는 기본으로 켜져 있습니다. 목록 행을 클릭하면 선택하고, 다시 클릭하면 엽니다. 휠은 목록에 초점이 있을 때 목록을 스크롤하며, 열린 Detail 옆의 Compact 목록은 스크롤하지 않습니다. Human Detail에서도 Monitor와 같은 방식으로 마우스를 쓸 수 있습니다. 단독 Review에서 Human 요청이 아닌 요청의 Detail은 키보드로만 조작할 수 있습니다. 대화 기록 묶음과 내용은 클릭이나 휠에 반응하지 않습니다. F2를 누르면 마우스 캡처가 꺼져 터미널에서 텍스트를 선택할 수 있으며, 헤더에 mouse off · F2가 나옵니다. 터미널의 bracketed paste는 마우스 캡처를 켜든 끄든 동작합니다.

단독 Review에서는 Runtime 증거를 섹션 아래의 고정 창에 보여 줍니다. 그 출력은 따로 스크롤되지 않습니다. 화살표 키나 페이지 이동 키를 누르면 섹션이 스크롤되며, Tab을 눌러도 초점은 증거 창으로 이동하지 않습니다. Monitor에는 대신 폭에 따라 섹션 옆이나 아래에 따로 스크롤되는 Runtime 증거 창이 있습니다.

공용 Human Detail

Monitor와 단독 review는 Human 리뷰를 똑같이 보여 줍니다. 요청을 열거나 미리 보기만 해서는 요청을 맡지 않습니다. 상태, 맡은 사람, 대기 시간을 담은 한 줄 아래에 지시문이 먼저 나옵니다. t를 누르면 Technical이 표시되거나 숨겨집니다. Technical에는 요청, Run, 저장소, 담당 정보의 전체 세부 사항, 공유 실행, 생성 시각, GREEN/RED 결과 필드 스키마가 나옵니다. 대기 중인 팔로워라면 원래 요청의 정보가 나옵니다.

맡기 전에는 지시문이 본문을 채우고 도구는 한 줄에 나옵니다. 맡은 뒤에는 지시문이 Tools, Tool log, 필드 위의 두 줄로 접힙니다. 편집 중이 아닐 때 i로 지시문을 펼치거나 접고, 펼친 지시문은 ↑/↓로 스크롤합니다. Technical이 보이는 동안에는 지시문이 펼쳐진 채로 있으니 먼저 t로 Technical을 숨기세요. 긴 기준은 어느 하위 영역에서든 Ctrl-PgUp/PgDn으로, Monitor에서는 지시문 위의 휠로도 스크롤합니다. Tools에 초점이 가면 Tools와 Tool log 열이 폭의 60%로 넓어지고, 고른 도구의 기능과 설명이 나옵니다. 명령 도구는 리뷰를 열 때 정한 명령줄을 아무것도 실행하지 않고 미리 보여 줍니다. 정하지 못한 명령은 대신 선언을 보여 주고, 도구를 실행하면 그 이유를 알려 줍니다. 내장 도구는 셸 명령줄 대신 대상 경로와 실행할 작업을 보여 줍니다. 예를 들어 notes.md 열기, Markdown 섹션 출력, 디렉터리 나열입니다.

아래쪽 안내줄에는 언제나 초점이 있는 영역의 키가 나옵니다. 마우스로 도구 행을 클릭하면 Tools로 초점이 옮겨 가고 해당 도구가 선택됩니다. Tools에 초점이 있을 때 선택한 도구를 클릭하거나 [Run tool ⏎]를 클릭하면 실행합니다.

키Human Detail 동작
c대기 중인 요청을 명시적으로 맡습니다. Detail에 초점이 있을 때만 동작합니다
g / r맡은 뒤 GREEN / RED를 고르고 그 양식을 엽니다
u판정 없이 담당을 해제합니다
Ctrl-G / Ctrl-R편집 중에 판정을 고르거나 바꿉니다
Ctrl-S고른 양식을 제출합니다
PgUp / PgDn초점이 있는 필드나 완료된 결과 보기 영역을 스크롤하고, Tools에 초점이 있으면 Tool log를 스크롤합니다. Tab/화살표로는 계속 필드를 고릅니다
Ctrl-U편집 중에 담당을 해제합니다
Tab / Shift-TabTools와 Fields 사이를 전환합니다. 편집 중인 Fields에서는 Tab은 필드 사이를 이동하고 Shift-Tab은 Tools로 전환합니다
i / t편집 중이 아닐 때 지시문을 펼칩니다 / Technical을 켜고 끕니다
EnterTools에 초점이 있으면 선택한 도구를 바로 실행합니다(맡은 뒤)
Esc작업을 취소하고, 그다음 편집을 멈추고, 그다음 Detail에서 나갑니다
+ Add에서 Enter / Ctrl-D그룹 목록에서 그룹을 추가합니다 / 선택한 그룹을 제거합니다

Human 요청을 맡거나 담당을 해제하고, 도구를 실행하거나 결과를 제출하는 작업이 진행 중인 동안에는, 초점이 있는 영역과 상관없이 보조 키 없이 누른 PgUp/PgDn이 Tool log를 스크롤합니다. 작업이 끝날 때까지 양식을 편집하거나 초점을 옮길 수는 없지만, Ctrl-PgUp/PgDn으로 지시문을 스크롤할 수는 있습니다.

  • 담당 지정. 요청을 맡으면 기본으로 내 사용자 이름($USER)이 리뷰어 이름으로 기록됩니다. 단독 review는 --reviewer NAME도 받고, Monitor는 항상 기본값을 씁니다. 유효한 사용자 이름이 설정되어 있지 않으면 Monitor는 오류를 보여 주고 그 요청의 읽기 전용 Detail을 그대로 둡니다. 사용자 이름을 설정하거나 artifactize review REQUEST_ID --reviewer NAME으로 요청을 여세요. 도구를 실행하거나 판정을 제출해도 요청을 자동으로 맡지는 않습니다. 다른 사람이 맡았거나 승인 대기가 끝난 요청은 읽기 전용이며, Detail에서 나가도 내가 맡은 상태는 그대로입니다.

  • 도구. ↑/↓로 고르며, 편집 중이 아닐 때는 j/k로도 고릅니다. 도구 실행에는 확인 단계가 없습니다. 도구를 실행하려면 대기 중인 요청을 내가 맡고 있어야 하며, 실행 전에 이를 확인합니다. 다른 곳에서 담당을 해제했거나 요청을 확정했다면 맡지도 실행하지도 않습니다. 실행할 때마다 선언을 다시 읽고 해석합니다. 기록된 Artifact 범위나 eval 선언(도구 포함)이 바뀌었으면 동작을 거부하고 요청을 ERROR(INPUT_CHANGED)로 끝냅니다. 선언이 바뀐 대기 중 요청은 열기만 해도 같은 방식으로 끝납니다. 새 요청을 받으려면 다시 verify하세요. 도구가 실행되는 동안 열린 양식은 열린 채로 있습니다. launch 도구는 프로그램을 시작한 뒤 “launched“를 표시하며, UI에서 작업을 계속할 수 있습니다. output 도구가 실행되는 동안에는 스피너가 표시되며, Esc나 Ctrl-C로 실행을 취소할 수 있습니다. 명령의 종료 코드가 0이 아니면 판정이 아니라 도구 오류로 처리합니다.

  • Tool log. 도구 아래의 Tool log에는 이 리뷰의 모든 도구 실행이 시작 시각(UTC)과 함께 표시됩니다. 자세한 내용은 Tool log를 보세요. 로그는 화면 폭에 맞춰 줄바꿈되고, 새 출력이 보이도록 자동으로 스크롤됩니다. Tools에 초점이 있을 때 PgUp으로 위로 스크롤하면 새 줄이 들어와도 보던 위치가 유지되고, PgDn으로 맨 아래로 돌아가면 자동 스크롤이 다시 시작됩니다. 마우스 캡처를 끄면(F2) 터미널의 텍스트 선택·복사 기능을 쓸 수 있습니다. 단독 Review는 다른 요청을 열면 로그를 지웁니다. Monitor는 요청마다 로그를 메모리에 유지하며, 다른 요청을 본 뒤에도 그 Detail을 다시 열면 복원합니다. 어느 UI에서든 제출에 성공하면 그 요청의 로그가 지워집니다. 다른 곳에서 요청을 확정했거나 로컬에 저장한 뒤 원격 게시에 실패하면 로그가 메모리에 남습니다. 어느 UI도 로그를 디스크에 저장하지 않습니다.

  • 양식. 판정을 고르면 별도의 판정 팝업 없이 그 스키마에 맞는 양식이 열립니다. Human 스키마에는 양식으로 입력할 수 있는 형태만 쓸 수 있습니다. 텍스트, 정수, 숫자 필드, 불리언, 문자열 선택지, 상수, 텍스트 목록, 그리고 그런 스칼라 값으로 이루어진 그룹의 목록입니다. 상수는 값이 자동으로 채워지고 행으로 표시되지 않습니다. *는 필수 필드를 표시합니다. 값을 입력하지 않은 선택 필드는 제출할 결과에서 제외됩니다. 필수가 아닌 불리언은 true, false, 미설정 중에서 고를 수 있으며, 필수 불리언은 true/false 중에서만 고를 수 있습니다. Tab이나 ↑/↓로 행 사이를 이동하고, Space나 ←/→로 값을 고르세요. 글자를 입력하면 편집이 시작됩니다. 텍스트 목록을 편집할 때는 마지막 항목에 입력합니다. Enter를 누르면 다음 항목을 입력할 수 있으며, 빈 항목에서 Backspace를 누르면 그 항목이 제거됩니다. 그룹 목록은 각 그룹의 필드마다 행 하나(findings 2 · problem)와 + Add findings 행을 보여 줍니다. 그룹 추가 행에서 Enter를 누르면 그룹이 추가되고, Ctrl-D를 누르면 선택한 행의 그룹이 제거됩니다. 아무것도 입력하지 않은 그룹은 제외됩니다. Enter로는 제출되지 않습니다. 검증 오류가 나면 요청을 대기 상태로 두고 검증에 실패한 경로를 보여 줍니다. 이 규칙이 생기기 전에 저장된 스키마라도 어떤 양식으로도 입력할 수 없는 형태라면 그 이유를 보여 주고 거부합니다. Human 정의가 기록되지 않은 저장된 요청에 빈 스키마를 임의로 적용하지 않습니다. 그 도구 정보는 확인할 수 없다고 표시하며, GREEN/RED 결과 양식은 사용할 수 없습니다. 이런 오래된 요청을 열 때도 기록에 없는 도구나 스키마 선언을 임의로 보충하지 않습니다.

  • 편집. 담당을 맡고 있는 동안에는 글자, ←/→, Tab이 필드에 입력되고, bracketed paste는 편집 한 번으로 들어갑니다. Esc는 키 표에 나온 대로 한 단계씩 되돌아가고, Monitor의 Close는 진행 중인 작업이 없으면 트리로 돌아갑니다(단독 review에서는 Esc와 같이 동작합니다). 양식이 열려 있거나 작업이 진행 중일 때는 Human Detail 밖을 클릭해도 아무 일도 일어나지 않으며, 휠 스크롤은 그대로 됩니다.

    상황결과
    담당을 해제하거나 잃음편집이 멈추고 Fields에 담당 안내가 보입니다. 초안은 남으며, c로 다시 맡으면 이어서 편집합니다
    다른 요청을 봄GREEN과 RED의 초안이 남습니다. 단독 review는 다른 요청을 열면 새로 시작합니다
    붙여 넣기가 256000바이트를 넘음붙여 넣기 전체를 거부하고 초안은 그대로 둡니다
    다른 곳에서 요청이 확정됨새로 고칠 때 편집이 끝납니다

양식을 편집하거나 작업을 실행하는 중이 아니라면 Detail에서도 q로 종료할 수 있습니다. Ctrl-C를 누르면 먼저 진행 중인 담당 지정, 도구 실행, 제출, 담당 해제가 취소됩니다. 진행 중인 작업이 없으면 양식 안에서도 종료됩니다. Esc로는 종료할 수 없습니다.

단독 review를 종료할 때 이 세션에서 맡은 요청 중 아직 제출하지 않은 요청이 있으면 처리 방법을 묻습니다.

키동작
k, n, q맡은 상태를 유지하고 종료합니다
u, r, y담당을 해제하고 종료합니다(여기서 r은 새로 고침이 아니라 해제입니다)
Esc머무릅니다
Ctrl-C맡은 상태를 유지하고 종료합니다

이 목록은 이 세션에서 맡은 요청을 기준으로 하므로, 다른 곳에서 이미 담당을 해제했거나 제출한 요청도 남아 있을 수 있습니다. 유지를 고르면 그 요청은 건드리지 않고 종료합니다. 담당 해제에 실패하면 Review에 오류가 나오고 창은 열린 채로 있으며, 요청도 계속 그 리뷰어가 맡은 상태로 남습니다. Monitor는 종료할 때 맡은 상태를 유지하니, 다른 사람이 맡을 수 있게 하려면 종료하기 전에 u로 담당을 해제하세요.

단독 Review에서 결과를 제출하면 요청 목록으로 돌아갑니다. 리뷰를 마쳐 현재 페이지가 비면 요청이 남아 있는 가장 가까운 이전 페이지로 이동하며, review는 검색에 일치하는 요청이 더 이상 없을 때만 종료합니다. 이렇게 종료할 때는 검색 결과에 없는, 이 세션에서 맡은 미제출 요청의 담당을 해제할지 묻지 않습니다. 그 요청은 맡은 채로 남으니, 검색을 좁혔다면 먼저 u로 담당을 해제하세요. Monitor는 완료된 결과를 Detail에 열어 둡니다.

Monitor

artifactize monitor [PATH | --repo PATH | --all] [--state-dir PATH]

Monitor는 이 상태의 모든 저장소를 목록으로 보여 줍니다. 인자 없이 실행한 monitor는 현재 디렉터리와 상관없이 ALL에서 시작합니다. monitor ., monitor PATH, --repo PATH는 처음에 그 저장소나 워크트리를 고르며, --all도 쓸 수 있습니다. 위치 인자 경로는 --repo와 함께 쓸 수 없고, --all은 둘 다와 함께 쓸 수 없습니다. 이 옵션은 처음 선택만 정하며, 실행한 뒤에도 ALL이나 다른 저장소·워크트리로 이동할 수 있습니다. Scope → Runs → Run tree → Detail 순서로 이동하며 세부 내용을 확인합니다.

반응형 창

초점이 있는 창이 Full입니다. Compact는 왼쪽 단계의 내용을 좁은 창에 줄여 보여 줍니다. Preview는 초점을 옮기지 않고 다음 단계를 보여 줍니다. 숨겨진 단계는 이동 경로에 남습니다. artifactize › scope › Run › eval.

초점이 있는 창은 가운데에 있고, 왼쪽에 Compact, 오른쪽에 Preview가 옵니다. Scope에는 Compact가, Detail에는 Preview가 없습니다. 옆 창은 터미널이 넓을수록 넓어지고, 좁은 터미널에서는 초점이 있는 창이 보이지 않을 수 있습니다. 초점이 있는 창에 공간이 더 필요하면 터미널을 넓히세요.

  • Scope. 같은 Git 공통 디렉터리를 공유하는 클론은 한 항목으로 묶어 표시합니다. ALL을 고르면 상태 전체가 선택되고, 저장소 행을 고르면 그 저장소의 워크트리가 모두 선택됩니다. 저장소마다 ALL 행을 따로 두지는 않습니다. Run이 없는 워크트리는 +N without Runs (Space) 항목 아래에 접어 두며, Space를 누르면 그 목록을 펼치거나 접을 수 있습니다. 선택한 범위는 계속 보입니다. Git이 아닌 경로와 삭제된 경로도 계속 나열됩니다. Run에는 작업 공간인 repoPath가 기록되며, commonDir, worktreePath, branch는 선택적으로 기록됩니다.
  • Runs. 선택한 범위의 Run이 최신순으로 나오며, 경과 시간, 걸린 시간, 요청 수(✓ GREEN, ✗ RED, ! ERROR, ? Human 대기, ◐ 실행 중)가 붙고, 마지막에 Run의 verify --comment가 남은 너비에 맞춰 …로 줄여 나옵니다. 좁은 창에서는 부차적인 열이 빠지며, 코멘트가 가장 먼저 빠집니다. 범위로 Run을 거른 다음 페이지를 나눕니다. 마지막 Run에서 Down/j를 누르면 더 오래된 Run을 불러오고, 더 오래된 페이지의 첫 Run에서 Up/k를 누르면 더 새로운 페이지를 불러와 그 마지막 Run을 고릅니다.
  • Run tree. 파일을 다시 평가한 결과가 아니라, 선택한 Run의 저장된 정의, 기록된 증거, 현재 요청 상태로 구성한 트리입니다. 머리줄은 상태, 경과 시간, 개수를 보여 주며, 사용량은 토큰 합계만 보여 줍니다. 실행 중에는 validation pending을, 그다음 SATISFIED / NOT SATISFIED at Run end를 보여 줍니다. 이어서 오류, 대기 중인 Human 요청, 실행 중인 eval을 주의 항목으로 최대 세 줄까지 보여 주고, 나머지는 +N more로 표시합니다. Run 행에서 Enter를 누르면 Detail이 열리며, 코멘트, 검증 결과와 충족되지 않은 최종 검증 요건, 요청 수와 오류, 대기 중인 작업과 실행 중인 작업, 시간과 예산, 실행·재사용 횟수, 실제 사용량과 재사용에 따른 절감량을 모두 확인할 수 있습니다. 검증 결과는 Run이 끝난 시점 그대로이고, 트리의 행은 이후의 Human 제출을 포함해 지금 상태의 요청을 보여 줍니다. 흐린 *는 Run이 끝난 뒤 상태가 바뀐 행을 표시하며 파일이 바뀌었다는 뜻은 아닙니다. Artifact Detail에도 At Run end 필드가 남습니다.

Scope 배지와 헤더에는 주의가 필요한 항목 수가 같은 !N ✗N ◐N ?N 형식으로 나옵니다. ERROR와 RED인 요청, 아직 끝나지 않은 Run, 사람의 결정이 필요한 승인입니다. 이 수는 지금 보이는 Run 페이지가 아니라 전체 Run을 기준으로 셉니다. 한 Human 실행의 팔로워들은 대기 중인 승인 하나로 셉니다.

Artifact와 eval

eval마다 행이 하나씩 있습니다. Artifact 행에는 지금 보이는 eval 행의 통과 수/전체 수(passed/total)와 표시 우선순위가 가장 높은 상태가 요약됩니다. [file]은 파일 Artifact를 표시하며, 그 대상 경로와 태그는 Detail의 Technical 섹션에 있습니다. basis Artifact는 행 하나로 나옵니다. ◇ engine basis. Artifact 행에는 그 부분의 상태도 반영됩니다. 부분이 하나라도 끝나지 않았으면 그 Artifact도 끝나지 않은 것으로 표시하고, 그 부분을 parts: 뒤에 나열합니다. 자기 eval이 없는 Artifact는 made of N을 보여 주거나, 끝나지 않은 부분을 pending: 뒤에 보여 줍니다. 별도의 관계 행이나 항상 표시되는 의존성 목록은 없습니다.

Artifact의 완료 여부는 eval의 상태와 상위 게이트의 충족 여부를 함께 보고 정합니다. eval의 GREEN 결과를 재사용할 수 있어도, 그 Artifact는 통과 0개(예를 들어 0/1)로 done, but waits for X나 done, but blocked by X를 보여 줄 수 있습니다. 따라서 eval 행이 모두 GREEN이어도, 그 Artifact를 입력으로 쓰는 eval을 실행할 준비가 끝났다고 볼 수는 없습니다. 그 Artifact가 의존하는 상위 Artifact의 검증 요건도 충족되어야 합니다.

일부만 실행한 Run은 이 Run에 요청이 없는 eval에 대해 저장된 증거를 쓸 수 있습니다. 그 행에는 GREEN · saved result, not in this Run(또는 저장된 RED)이 나옵니다. 그 증거는 완료 개수와 게이트에 반영됩니다. 저장된 GREEN 결과로 입력의 검증 요건을 충족할 수 있고, 저장된 RED 결과가 있으면 그 입력을 쓰는 eval의 실행이 막힐 수 있습니다. 대시는 어느 쪽도 없다는 뜻입니다.

보기 상태의미
✓ doneGREEN입니다. 실행했거나 재사용했습니다
○ PROVISIONAL실행했거나 재사용해 기준은 충족했지만, 의존하는 승인이 남아 있습니다(PROVISIONAL · sign-offs remain)
✗ / ! failedRED / ERROR
◐ / ? / · in progress실행 중, Human 대기(맡은 사람과 함께), 실행 허가 대기, 백엔드 자리나 명시적 --jobs 상한 대기, 또는 실행에 합류 중인 상태입니다
… waits for X실행 중인 Run에서 X에 필요한 eval이 GREEN이 될 때까지 대기합니다
⊘ blocked by X상위의 RED나 막힌 eval 때문에 실행할 수 없습니다
○ / $ / - not runRun이 끝날 때 X의 결과가 아직 나오지 않았거나, 증거가 오래되었거나, eval을 리뷰하지 않았습니다(○). 예산이 바닥났습니다($). eval에 요청도 저장된 증거도 없습니다(-)

실행 중인 행과 Human 행은 굵은 글씨와 색으로 강조됩니다. 대기열에 있는 행에는 색이 있는 ·가 계속 표시됩니다. 대기 상태인 eval의 행과 일반 not-run 행은 흐리게 표시됩니다. 상위 eval이 ERROR이면 RED일 때처럼 막지 않고, 다시 시도해야 한다고 표시합니다. Run이 끝난 뒤에도 아직 처리되지 않은 Human 요청이 남아 있을 수 있습니다. 이 보기 상태는 저장된 요청 상태를 설명할 뿐, JSON의 상태 이름을 바꾸지는 않습니다.

이 표시가 뜻하는 바는 Run이 승인과 추측 실행을 다루는 방식에 따라서도 달라집니다. 승인은 DEFERRED로 나오고 의존하는 작업은 승인된 것이 아니라 PROVISIONAL일 수 있습니다. 제출되지 않은 승인 요청이 있는 진행 중인 Run은 WAITING_HUMAN이며, RUNNING과 마찬가지로 진행 중인 상태이므로 조금 더 진한 파란색으로 표시됩니다. 남은 승인이 모두 제출되면 다시 RUNNING으로 표시됩니다. YELLOW로 끝난 Run은 그 승인만 남았다는 뜻입니다. 나중에 승인을 제출해도 Run 종료 때 기록한 판정은 바뀌지 않고 현재 요청에만 반영됩니다. --speculate에서는 상위 eval의 판정이 아직 나오지 않았어도 하위 eval이 READY이거나 실행 중일 수 있습니다. 이후 상위 eval의 결과가 RED/ERROR이면 추측 실행 중인 하위 작업의 실행이 차단되거나 취소됩니다.

eval의 대기 조건은 eval 의존성 규칙에 따라 정해집니다. 각 행은 게이트를 Artifact별로 묶어, 아직 검증 요건을 충족하지 못한 Artifact를 최대 두 개까지 완료 상태와 함께 보여 주고, 나머지 개수는 +N으로 표시합니다. 대기 중인 대상도 모두 다른 작업 때문에 실행이 보류된 상태라면 그 원인도 한 단계 더 보여 줍니다. 예를 들어 waits for cli … waiting (cli waits for code-style)입니다. 같은 순환에 속한 Artifact에는 모두 ↻ peer 표시가 붙습니다. 의존 관계에 따라 상위 Artifact부터 표시하되, 같은 순환에 속한 Artifact와 eval은 이름순으로 정렬합니다.

모두 done인 Artifact는 자동으로 접힙니다. 다른 Artifact는 직접 접지 않는 한 펼쳐진 채로 있으며, 새로 고쳐도 사용자가 펼치거나 접어 둔 상태는 그대로입니다. 새 Run을 열면 진행 중이거나 실패한 eval 중 첫 번째가 선택됩니다. h는 접고, l은 펼치고, Space는 선택한 트리 행을 접거나 펼칩니다.

선택한 eval의 상위 Artifact 행에는 ↑가 붙습니다. 충족되지 않았으면 밝게, 완료되었으면 흐리게 표시됩니다. 하위 Artifact는 강조하지 않습니다. 화면 밖의 대상은 ↑N above나 ↑N below로 나옵니다. b를 누르면 그 Artifact 행을 검증 요건이 충족되지 않은 것부터 차례로 선택하며, Backspace를 누르면 원래 행으로 돌아갑니다. Artifact 행에서 b를 누르면 그 Artifact의 모든 eval이 의존하는 상위 항목을 한 목록으로 모아 차례로 고릅니다.

키와 마우스

키동작
Enter / →다음 단계로 갑니다. 트리 행에서는 Detail을 엽니다
o선택한 트리 행의 Detail을 엽니다
← / Esc한 단계 물러납니다. Esc로는 종료하지 않습니다
Tab / Shift-TabScope, Runs, 트리 사이를 순환합니다. Detail 안에서는 하위 영역을 전환합니다
↑/↓ 또는 j/k행을 고릅니다. Detail 안에서는 스크롤합니다
?도움말을 보여 줍니다. 보조 키 없이 누른 다음 키는 동작하지 않고 도움말을 닫습니다. 이때도 Ctrl-C는 종료하고 F2는 마우스 캡처를 켜고 끕니다
!이 Run의 다음 ERROR, RED, 또는 대기 중인 Human eval로 이동합니다. 끝에 닿으면 처음으로 돌아갑니다
rScope, Runs, 트리에 초점이 있으면 새로 고칩니다. 내가 맡았고 진행 중인 작업이 없는 Human Detail에서는 RED를 고르며, 읽기 전용 Detail은 새로 고치지 않습니다
q / Ctrl-C편집 중도 작업 실행 중도 아니면 q로 종료합니다. Ctrl-C는 진행 중인 담당 지정·해제, 도구 실행, 판정 제출이 있으면 취소를 요청하고, 없으면 종료를 시작합니다
F2터미널 텍스트 선택을 위해 마우스 캡처를 켜고 끕니다

Detail에서 !는 다음 주의 항목의 Detail을 엽니다. Human 리뷰 작업을 하려면 Detail에 초점이 있어야 합니다. 초점 잠금, Esc와 Close 동작, 유지되는 초안은 공용 Human Detail에서 다룹니다.

항목을 클릭하면 그 항목이 선택되고 초점이 옮겨 갑니다. 더블 클릭은 트리 행의 Detail을 엽니다. peek를 클릭하면 Full로 엽니다. Human Detail에서는 Tools에 초점이 있을 때 선택한 도구를 클릭하면 실행합니다. 첫 클릭은 Tools에 초점만 옮깁니다. 휠은 초점을 옮기지 않고 포인터 아래의 창을 스크롤합니다. 트리에서는 선택이 아니라 보기 영역을 움직이므로, peek에 표시되는 eval은 바뀌지 않습니다. 이동 경로의 각 항목은 클릭할 수 없습니다. 터미널의 bracketed paste는 마우스 캡처 설정과 관계없이 동작합니다.

Detail

트리에 초점이 있으면 Detail은 j/k로 고른 행에 따라 바뀌는 peek(간략 보기)입니다. Outcome과 그 eval을 실행하기 전에 결과가 나와야 하는 Artifact를 보여 줍니다. 실행 중인 Agent의 peek는 대화 기록의 마지막 줄도 보여 줍니다. Enter나 →를 누르거나 peek를 클릭하면 모달 대신 Full Detail이 열립니다. Detail에서 나가면 Full 보기가 닫히고 다시 peek가 나옵니다.

읽기 전용 섹션은 이 순서로 나옵니다. Outcome → Waits for → What → Provenance → Technical. Outcome은 판정이나 오류를 먼저 보여 줍니다. What에는 지시문과 원시 결과가 있습니다. Provenance에는 작업, 사용량, 예산, 시간이 있습니다. Technical에는 식별자와 해시가 있으며, 접힌 채로 시작하며, t로 펼치거나 접을 수 있습니다. Waits for는 트리와 같은 상위 Artifact를 그 완료 상태와 참조 출처와 함께 나열하며, w를 누르면 해당 Artifact에서 대기 중인 eval이 표시되거나 숨겨집니다. 빈 섹션은 빠집니다. Tab으로 섹션과 증거 사이를 전환하고, ↑/↓와 PgUp/PgDn으로 초점이 있는 영역을 스크롤할 수 있습니다. Home을 누르면 Monitor에서는 초점이 있는 읽기 전용 섹션이나 Runtime 증거의 맨 위로 이동하고, 단독 Review에서는 읽기 전용 섹션의 맨 위로 이동합니다.

Detail에 표시되는 내용은 eval 종류에 따라 다릅니다.

  • Agent: 실시간 대화입니다. 실행 중인 리뷰의 대화와, 재사용한 결과를 만든 원래 로컬 리뷰의 대화를 포함합니다. ↑/PgUp을 누르면 자동 스크롤이 멈춰 앞 내용을 읽을 수 있으며, Home을 누르면 처음으로, End를 누르면 최신 메시지로 이동합니다. Monitor는 Top, Bottom, Details 버튼도 제공하며, Bottom을 누르면 자동 스크롤이 다시 시작됩니다. 어느 UI에서든 Space나 Enter를 누르면 화면에 보이는 도구 묶음이 펼쳐지거나 접힙니다. 묶음을 펼치면 도구 이름, 대상, 기록된 상태가 나옵니다. Monitor에서는 도구 묶음의 제목을 클릭해도 펼치거나 접을 수 있습니다. 어느 UI에서든 d를 누르면 저장된 결과와 세부 정보 화면, 대화 기록 사이를 오갑니다. Esc를 누르면 Monitor에서는 저장된 세부 사항에서 대화 기록으로 돌아가고, 단독 Review에서는 Detail에서 나가 목록으로 돌아갑니다. provider가 공개 reasoning 요약을 주는 경우 그 요약만 나오며, 비공개 reasoning은 숨겨진 채로 있습니다. 대화가 없거나 원격에만 있으면 이 화면에서 볼 수 없는 이유를 안내합니다. 저장된 기록 전체를 보려면 session show --json을 실행하세요. 스트리밍이 끝나면 수신 중이던 텍스트가 최종 텍스트로 바뀌고, 도중에 중단된 출력에는 표시가 붙습니다. 창 크기를 바꿔도 읽던 위치가 유지되며, 긴 대화도 빨리 열리고 처음까지 스크롤할 수 있습니다. 리뷰가 끝난 뒤 session send로 이어서 주고받은 답변도 읽을 수 있습니다.
  • Runtime: Detail의 안쪽 내용 폭이 90열 이상(바깥 테두리를 포함해 92열)이면 저장된 stdout/stderr, 종료 코드, 캡처한 출력이 잘렸는지 여부가 섹션 옆에 나오며, 창이 더 좁으면 이 정보를 섹션 아래에 표시합니다. 아직 실행 중인 작업, 시간 초과/취소된 결과, 원격 저장소의 요약 정보만 있는 결과는 로그를 볼 수 없다고 표시하며, 실행 중인 작업의 로그를 실시간으로 보여 주지는 않습니다.
  • Human: 요청 담당 지정, 도구 실행, 판정 입력, 리뷰 화면 나가기에는 공용 Human Detail 컨트롤을 쓰세요. Monitor에서만 다른 점은 완료된 결과를 열어 둔다는 것입니다. 양식을 편집 중이 아니고 실행 중인 작업도 없으면 q로 종료하고, ?로 Monitor 도움말을 보며, !로 다음 주의 항목을 엽니다.

제출한 뒤 팀 리뷰 저장소에 게시하는 데 실패하면, Detail에는 다시 제출하라는 안내 대신 완료된 로컬 결과와 게시 실패가 표시됩니다. 터미널 설정은 종료할 때 복원됩니다. Monitor와 Review는 Run이 바뀌면 늦어도 5초 안에 자동으로 갱신됩니다.

새로 고침에 실패하면 시각이 찍힌 read failed at … 알림이 기록됩니다. Monitor와 Review 목록에는 마지막으로 읽어 온 데이터가 남으므로, 보이는 요청, 결과, 담당 정보가 현재 상태와 다를 수 있습니다. 단독 Review에서 Human이 아닌 요청의 Detail을 보고 있으면 목록으로 돌아갈 때까지 알림이 나타나지 않을 수 있고, 그 Detail을 다시 읽지 못하면 이전에 보이던 내용이 지워질 수 있습니다. Review에서는 요청 목록으로 돌아가 r을 누르고, Monitor에서는 Scope, Runs, 트리에서 새로 고침을 요청하세요. 읽기에 성공하면 실패 알림이 지워집니다.

저장된 Run 하나를 읽을 수 없거나 그 기록 안에 모순이 있는 경우는 다르게 처리합니다. Monitor는 read failed 알림을 띄우지 않고 그 Run의 오류를 목록에 보여 주며, 그 Run의 트리는 열지 않습니다. 다른 Run은 계속 쓸 수 있습니다.

Monitor가 열려 있는 동안 백업을 복원하는 등으로 상태 디렉터리가 교체되면, Monitor는 진행 중인 Human 작업을 취소하고, Detail을 닫고, 저장하지 않은 초안을 버립니다. 이 초안은 교체된 상태로 넘어가지 않습니다.