사람들에게 돈을 주고 내 README를 따라 해보게 했다

ActivityBot의 설치 경험을 검증하기 위해 실제 사용자에게 시간당 25유로를 지급하고, README를 따라 하는 과정을 관찰함 개발자가 직접 문서를 시험해도 자신이 이미 아는 것에 대한 편향 때문에 명령어 권한, 옵션 표기, 재부팅 같은 전제를 놓칠 수 있음 참가자에게 화면을 공유하며 생각을 소리 내어 말하도록 요청해, 잘못된 링크부터 이해하기 어려운 용어와 문서 구성까지 다양한 문제를 발견함 매 세션 뒤 어려웠던 부분을 수정하고 다음 참가자에게 재검증했으며, 총지출은 약 150유로였음 ActivityBot의 README는 아직 완벽하지 않지만 더 따라 하기 쉬워짐. 비용을 지급하기 어렵더라도 실제 사람이 지침을 따라 하며 느끼는 혼란과 답답함을 직접 듣는 과정이 필요함 직접 시험해도 남는 개발자의 편향 사용자에게 매뉴얼부터 읽으라고 요구하지만, 실제 문서는 불완전한 메모와 오래된 팁, 같은 질문이 반복되는 방치된 포럼 링크에 그치는 경우가 있음 README를 실제로 시험하는 방법은 새 가상 머신을 띄우고 작성한 지침을 하나씩 따라 하며 이해할 수 있는지 확인하는 것임 다만 문서를 쓴 개발자는 이미 알고 있는 전제에서 벗어나기 어려움 어떤 명령어에 sudo가 필요한지 이미 알고 있음 -foo라고 썼어도 실제 의도는 --foo였다고 자연스럽게 읽어 넘김 작업 뒤 재부팅이 필요하다는 사실도 당연하게 여김 실제 사용자와 진행한 설치 테스트 ActivityBot의 NLnet 지원금 신청에 실제 사용자 설치 테스트를 포함하고, 참가자에게 1시간에 25유로를 지급하기로 함 Mastodon에서 참가자를 모집해 영상 통화를 진행하고, 완벽하지 않은 첫 실행 경험에 대한 건설적인 비판을 요청함 참가자는 화면을 공유하고 생각을 소리 내어 말하며 지침을 따라 함 무엇을 하고 있는지, 무엇을 이해하지 못했는지, 어떤 부분이 혼란스러운지 말하도록 요청함 즐거웠던 부분과 답답했던 부분도 함께 이야기하도록 함 피드백은 손으로 기록했으며, 몇 시간에 걸쳐 개발 과정에서 잘못 전제한 사항들을 확인함 README에서 드러난 문제들 접근 환경과 데모 도구에 대한 전제가 맞지 않았음 데모 도구 링크가 잘못되어 있었음 일부 사용자는 README를 터미널에서 읽었음 데모 도구를 웹에서 제공해야 하는지, 사용자 로컬 컴퓨터에서만 실행해야 하는지가 쟁점이 됨 파일 조작과 명령어 표기도 사용자에게 자명하지 않았음 파일 이름을 바꾼다는 것이 구체적으...