대부분의 Googlebot은 가짜다

사이트 장애를 일으킬 만큼 요청을 보내는 Googlebot 사례 상당수는 Google이 아니라 Googlebot을 사칭한 외부 봇에서 비롯됨 HTTP User-Agent는 요청자가 임의로 지정할 수 있어, 로그의 Googlebot/2.1 문자열만으로는 실제 Googlebot임을 보장할 수 없음 사칭 봇은 차단을 우회하려 Googlebot 이름을 사용하며, 여러 호스팅 업체의 서버를 동원한 단일 대규모 악성 크롤러 캠페인일 가능성도 있음 실제 Googlebot인지는 host 명령이나 Google이 공개한 IP 범위로 검증해야 하며, 등록자가 Google LLC인 IP도 Google Cloud 주소일 수 있어 추가 확인이 필요함 전체 Googlebot 트래픽의 과반이 가짜라는 데이터는 없지만, 서비스를 방해하는 Googlebot 트래픽은 주로 사칭 봇에서 발생하는 것으로 보임 Googlebot 트래픽을 둘러싼 오해 Google 검색 크롤러가 과도한 트래픽으로 사이트 장애를 유발하거나 DDoS처럼 동작한다는 운영자들의 불만이 있음 그러나 이런 파괴적 트래픽은 Google이 아니라 다른 주체가 Googlebot 이름을 도용해 보낸 사칭 요청일 수 있음 서버 로그에서 Googlebot 문자열을 발견한 것만으로 Google을 트래픽 출처로 단정할 수 없음 User-Agent는 신원 증명이 아님 Googlebot으로 보이는 요청에는 보통 다음과 같은 값이 포함됨 User-Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) nginx 로그에도 같은 문자열이 기록될 수 있지만, User-Agent 헤더는 요청자가 원하는 값으로 자유롭게 설정 가능함 User-Agent는 검증된 인증 정보가 아닌 자발적인 자기 식별이므로 누구나 Googlebot이라고 주장할 수 있음 사칭 봇의 출처와 규모 사칭 주체는 기존 봇 차단을 우회하기 위해 Googlebot User-Agent를 사용하는 것으로 보임 예시 로그의 IP는 Google이 아닌 호스팅 업체 Virtual Machine Solutions LLC가 제공한 서버로 확인됨 Googlebot 사칭은 오래전부터 흔히 쓰인 수법이며, 최근에는 그 규모가 커진 것으로 관찰됨 Chris Siebenmann은 오래된 수법이 여러 곳에서 동시에 유행했다기보다, 다수의 호스팅 업체에서 많은 서버를 확보한 단일...