워드프레스 사이트를 운영하다 보면 특정 페이지를 구글 검색에 보여주고 싶지 않을 때가 있습니다. 아직 정리 중인 안내 페이지나 검색 결과에 노출할 필요가 없는 페이지가 그 예입니다. 이때 자주 등장하는 용어가 noindex와 robots.txt입니다.
두 가지 모두 검색엔진과 관련된 설정이지만 하는 일은 다릅니다. 차이를 모른 채 적용하면 검색에서 빼고 싶은 페이지가 계속 보이거나, 반대로 검색에 보여야 할 글까지 크롤링되지 않을 수 있습니다. 먼저 ‘크롤링’과 ‘색인’을 구분해 보겠습니다.
크롤링과 색인은 무엇이 다른가요?
크롤링은 검색엔진의 프로그램이 웹페이지를 찾아 방문하고 내용을 확인하는 과정입니다. 색인은 확인한 페이지를 검색엔진의 목록에 반영하는 과정이라고 이해하면 쉽습니다.
도서관에 비유하면 크롤링은 새 책을 살펴보는 일이고, 색인은 그 책을 도서 목록에 등록하는 일에 가깝습니다. 검색엔진이 페이지를 방문하는 것과 그 페이지를 검색 결과에 보여주도록 처리하는 것은 같은 단계가 아닙니다.
noindex는 검색 결과에 싣지 말라는 신호입니다
noindex는 검색엔진에 “이 페이지를 검색 색인에 넣지 마세요”라고 전달하는 설정입니다. 페이지 자체를 비공개로 바꾸는 기능은 아닙니다. 주소를 아는 사람은 여전히 해당 페이지에 접속할 수 있습니다.
워드프레스에서는 사용하는 SEO 플러그인에 따라 글이나 페이지 편집 화면에서 개별 페이지의 색인 여부를 선택할 수 있습니다. 메뉴 이름은 플러그인마다 다르지만 ‘검색엔진에 표시’, ‘색인 허용’, ‘고급 로봇 설정’과 비슷한 항목을 살펴보면 됩니다.
중요: 블로그 글 본문에 noindex라는 문구를 적는다고 설정되는 것은 아닙니다. 검색엔진이 읽을 수 있도록 페이지의 적절한 메타 설정 또는 응답 헤더에 적용되어야 합니다. 사용 중인 플러그인이 실제 페이지에 설정을 반영했는지 확인하세요.
robots.txt는 크롤러의 접근 경로를 안내합니다
robots.txt는 검색엔진 크롤러에 사이트의 어느 경로를 요청할 수 있는지 안내하는 파일입니다. 주로 크롤링을 관리하는 용도로 사용하며, 페이지를 검색 결과에서 확실히 숨기는 비밀번호나 잠금장치가 아닙니다.
예를 들어 어떤 경로의 크롤링을 막더라도 다른 사이트에서 그 주소로 링크했다면 검색 결과에 URL만 나타나는 상황이 생길 수 있습니다. 따라서 “검색 결과에서 빼고 싶다”는 목적만으로 robots.txt 차단을 선택하면 기대와 다른 결과가 나올 수 있습니다.
둘의 차이를 한눈에 정리하면
- noindex: 페이지를 검색 색인에 넣지 말라는 지시입니다. 검색엔진이 해당 지시를 보려면 페이지에 접근할 수 있어야 합니다.
- robots.txt 차단: 크롤러에게 특정 경로를 요청하지 말라고 안내합니다. 이것만으로 검색 결과에서 URL이 반드시 사라지는 것은 아닙니다.
- 접근 제한: 개인정보나 내부 자료를 보호해야 한다면 검색 설정이 아니라 로그인 또는 비밀번호 등 실제 접근 통제가 필요합니다.
특히 같은 페이지를 robots.txt로 막으면서 그 페이지 안에 noindex를 넣으면 문제가 됩니다. 크롤러가 페이지에 들어갈 수 없으므로 안쪽에 적힌 noindex 지시도 확인하지 못할 수 있습니다.
워드프레스에서 개별 페이지를 검색에서 빼고 싶다면?
먼저 해당 페이지가 정말 검색에 노출될 필요가 없는지 판단하세요. 검색 방문자가 유용하게 읽을 수 있는 글이라면 단순히 내용이 짧다는 이유만으로 무조건 noindex를 적용할 필요는 없습니다.
색인 제외가 필요하다면 현재 사용하는 SEO 설정 화면에서 그 글 또는 페이지에만 noindex를 적용할 수 있는지 확인하세요. 저장 후에는 공개된 실제 페이지에 설정이 반영되었는지 살펴보고, 구글 서치콘솔의 URL 검사에서 해당 주소가 어떻게 인식되는지 확인할 수 있습니다.
플러그인이 여러 개라면 서로 다른 색인 설정을 동시에 적용하지 않았는지도 점검하세요. 한쪽에서는 색인을 허용하고 다른 쪽에서는 차단하면 운영자가 상태를 파악하기 어려워집니다.
사이트 전체 설정을 건드릴 때는 더 조심하세요
워드프레스의 설정 → 읽기에는 검색엔진이 사이트를 색인하지 않도록 요청하는 사이트 전체 설정이 있습니다. 개발 중인 사이트에서 사용할 수 있지만, 공개 운영 중인 블로그에서 실수로 켜 두면 여러 글의 검색 노출에 영향을 줄 수 있습니다.
특정 글 하나만 검색에서 제외하려는 목적이라면 사이트 전체 설정을 바꾸지 마세요. 또한 이 설정은 검색엔진에 요청하는 것이지, 민감한 페이지의 접근을 차단하는 보안 기능이 아닙니다.
이미 색인된 글에 noindex를 적용하면 바로 사라질까요?
아닙니다. 검색엔진이 해당 페이지를 다시 방문해 새 설정을 확인해야 하므로 검색 결과에 변화가 나타나기까지 시간이 걸릴 수 있습니다. 설정 직후 검색창에 주소가 보인다는 이유만으로 여러 설정을 동시에 바꾸지 않는 편이 좋습니다.
반대로 noindex를 해제한 뒤에도 검색 결과에 바로 다시 나타나는 것은 아닙니다. 먼저 페이지가 공개되어 있고 검색엔진이 접근할 수 있는지 확인한 다음, 서치콘솔에서 URL 상태를 점검하세요.
검색 노출 차단 전 체크할 사항
- 목표가 검색 결과 제외인지, 크롤링 관리인지, 실제 비공개인지 구분합니다.
- 개별 글만 제외할지 사이트 전체에 적용할지 결정합니다.
- noindex를 쓸 페이지를 robots.txt로 동시에 막지 않았는지 확인합니다.
- 설정 후 실제 페이지와 서치콘솔의 URL 검사 결과를 살펴봅니다.
- 중요한 자료라면 검색 설정에 의존하지 말고 접근 권한을 제한합니다.
핵심은 간단합니다. 검색 결과에서 제외하려면 noindex, 크롤러의 접근 경로를 관리하려면 robots.txt를 검토하세요. 둘을 같은 기능으로 생각하지 않으면 필요한 페이지의 검색 노출을 실수로 막거나, 숨기려는 주소가 계속 보이는 일을 줄일 수 있습니다.
참고 자료: Google 검색 센터: noindex로 색인 차단, Google 검색 센터: robots.txt 소개
글에 대한 의견이나 정정 요청은 문의하기로 보내주세요.
문의하기


