구글 블로그를 운영하다 보니 전체적인 유입이 워낙 적어, 네이버·다음·구글 웹마스터 도구의 도움을 받아 검색 로봇이 제 블로그 글을 수집하고 이를 통해 유입이 늘어나길 기대했습니다. 그 과정에서 다음 웹마스터 도구를 활용해 보려 했지만, 발급받은 PIN 코드를 구글 블로그에 적용해도 정상적으로 인증되지 않는 문제가 발생했습니다.
물론 현재 기준으로는 구글이나 네이버에 비해 다음을 통한 유입은 크게 기대하기 어려운 것이 사실입니다. 그런데도 검색 환경은 언제든 변할 수 있고, 언젠가 다음 유입이 다시 의미 있게 증가할 가능성도 있다는 생각에 미리 PIN 코드를 발급받아 두었습니다.
그렇게 발급받은 PIN 코드를 구글 블로그 robots.txt 파일에 Allow: / 슬러쉬 옆에 코드를 붙여서 복사하여 붙여 넣었습니다.
구글 블로그의 robots.txt를 수정한 뒤 다음 웹마스터 도구에서 다시 확인해 보았지만, 아래 이미지와 같이 “인증키가 확인되지 않습니다. robots.txt에 인증키를 추가하고 재시도하여 주십시오.” 라는 안내 문구만 계속 표시되었습니다. 분명 robots.txt에 인증키를 추가한 상태였음에도 불구하고 인증이 되지 않아, 도대체 무엇이 문제인지 전혀 알 수 없었고 원인을 찾지 못한 채 한참을 헤매며 시간을 허비했던 경험이 있습니다.
맞춤 robots.txt 파일에 User-agent:* Allow: / 엔터한번 입력해 주세요. 슬러쉬 다음에 엔터입력이 안된 상태로 인증을 진행하면 계속 인증이 안됩니다. 그러니 아래 예시처럼 반드시 엔터를 한번 입력해 주세요.
User-agent: *
Allow: /
#DaumWebMasterTool:1123asd65f4ad6s5f4ads65f4d5sfa5dsf4a5sdf45asd4f5asd4f5asd4f5asd4f5asd4f5a4dsf5a4dsf54==
저 역시 인터넷에 있는 자료를 찾아보며 따라 했던 것뿐인데 고작 엔터 하나 입력하지 않아 robots.txt 코드를 읽을 수 없다는 오류가 날것이라고는 생각하지 못했던 것 같습니다.
다음 웹마스터 도구를 활용하시는 분들도 많지 않고, 실제로 다음을 통한 유입 역시 적은 편이다 보니 이 내용을 굳이 작성해야 할지 한동안 고민했습니다. 다만 저 역시 같은 문제를 겪으며 해결 방법을 찾는 과정에서, 인터넷상에 관련 정보가 거의 없어 꽤나 애를 먹었던 기억이 있습니다.
여러 가지 제약과 환경적인 문제로 인해 동일한 방법이 모두에게 그대로 적용되지 않을 수도 있겠지만, 저와 같은 상황에서 오류로 인해 진행이 막혀 있었던 분들께는 참고할 만한 내용이 될 수 있을 것 같아 이렇게 정리해 보았습니다.