150만 페이지 규모 웹사이트에서 scraper와 맞선 1년

Hacker News 의견들 웹사이트 열람 권한을 Cloudflare 같은 대기업에 넘긴 사람이 너무 많아 우려됨. 회사가 특정 사용자를 차단해도 아무도 알 수 없고 사용자는 이의를 제기할 방법도 없으니, 원하는 열린 웹과는 거리가 멂 모든 봇을 막으면 로컬 스크립트나 LLM으로 페이지를 가져오려는 실제 사용자도 피해를 봄. 직접 사이트를 방문하는 수고를 강요하게 된다는 점도 고려해야 함 봇을 탓하는 사이트 중에는 애초에 설계가 부실해 개선이 필요한 곳도 많으며, 봇 트래픽이 반드시 나쁜 것은 아님 이 경우에는 사용자가 아니라 봇 사용자임 오래된 macOS 10.11과 실행 가능한 최신 Firefox ESR을 쓰는데 Cloudflare에 계속 차단됨. JavaScript와 쿠키까지 활성화하게 한 뒤 차단하기도 함 인터넷의 문지기 역할을 맡길 곳이 아니며, 기회주의적으로 자신들의 OKR만 끌어올리고 있음 Cloudflare 검사에서 브라우저 미지원 메시지가 나옴. 차단은 성공했지만 사용자는 잃은 셈임 사람들이 봇을 금지하려는 큰 이유는 정보를 얻으려면 사용자가 직접 사이트에 방문해 시간과 노력을 들이게 만들고 싶기 때문으로 보임 봇을 막으려다 온갖 실제 사용자까지 차단하게 됨. 평범한 브라우저에서 JavaScript를 비활성화했다는 이유로 자주 막히며, 99%는 탭을 닫고 떠나게 됨 Cloudflare, Fastly, Bunny 등을 사용하지 않는 사이트에는 Anubis가 훌륭한 해결책임. 여러 국가에 서비스를 제공해 국가별 차단이 불가능하고 사용자 에이전트도 위조된 수백만 건의 봇 요청을, 작업 증명으로 실제 브라우저 소프트웨어와 구분해 냈음 https://anubis.techaro.lol/ 실제 브라우저를 판별하는 것은 아니며, 약간의 마찰을 추가할 뿐임. 아직 틈새 기술이라 AI 수집기가 우회할 필요를 느끼지 못했을 뿐임 비용을 내지 않으면 로고를 바꾸지 못하게 하는 정책은 완화했으면 함. 털복숭이 애니메이션 캐릭터는 해당 하위문화와 맞지 않는 브랜드나 개인 이미지에 거부감을 줌 이런 낭비적인 장치 때문에 요즘 인터넷이 너무 느려짐. 휴대전화에서 GCC 버그 추적기를 열어보면 체감 가능함 CPU 비용은 수집기에는 싸지만 사람에게는 부담스러워 Anubis가 좋지 않음 헤드리스 브라우저를 실행하는 봇이라면 여전히 통과할 수 있을 듯함. 그래도 수집 비용을 높이는 가치는 있으며, 작정하고 사람을 흉내 내는 수집기...