robots.txt는 어디에 있나요?
사이트 주소 뒤에 `/robots.txt`를 붙이면 됩니다. 예를 들어 `https://example.com/robots.txt`처럼 루트 경로에서 확인합니다. 하위 폴더에 만든 robots.txt는 사이트 전체 기준 파일이 되지 않습니다.
기본 명령어 이해하기
User-agent
어떤 검색로봇에 규칙을 적용할지 지정합니다. `*`는 모든 로봇을 의미합니다.
Disallow
지정한 경로를 크롤링하지 말라는 뜻입니다. `/quote/`처럼 경로를 적으면 해당 경로 아래가 대상이 됩니다.
Allow
더 넓은 차단 규칙 안에서 특정 경로를 허용할 때 사용할 수 있지만, 검색로봇별 해석 차이가 있을 수 있으므로 단순하게 작성하는 편이 안전합니다.
Sitemap
사이트맵 파일의 위치를 검색로봇에게 알려주는 줄입니다. 전체 주소를 적는 것이 명확합니다.
예시로 보는 안전한 구성
User-agent: * Disallow: /private/ Sitemap: https://example.com/sitemap.xml
공개해야 하는 페이지가 있다면 실수로 해당 경로를 Disallow에 넣지 않았는지 확인해야 합니다. 반대로 고객 전용 견적 페이지처럼 검색에 노출하지 않으려는 영역은 별도 정책에 따라 차단할 수 있습니다.
robots.txt에서 자주 하는 실수
- 사이트 전체를 막는 `Disallow: /`를 테스트 후 그대로 배포하는 경우
- 사이트맵 주소의 도메인이나 파일명을 잘못 적는 경우
- 공개 글이 있는 폴더를 실수로 차단하는 경우
- robots.txt로 색인을 즉시 삭제할 수 있다고 생각하는 경우
- CSS·JavaScript 같은 렌더링에 필요한 리소스까지 과도하게 막는 경우
중요: robots.txt는 주로 크롤링 접근을 제어합니다. 이미 검색된 URL을 검색 결과에서 제외하거나 빠르게 삭제하려는 목적이라면 noindex, Search Console 삭제 도구 등 다른 방법을 검토해야 합니다.
공개 전 점검 체크리스트
주소를 직접 열고 확인하세요
- robots.txt가 브라우저에서 정상적으로 열리는가
- 첫 줄부터 규칙이 읽기 쉬운가
- 공개할 페이지 경로가 차단되지 않았는가
- 사이트맵 주소가 실제 파일과 일치하는가
- 최근 수정 후 의도하지 않은 `Disallow: /`가 생기지 않았는가
자주 묻는 질문
robots.txt가 없으면 Google에 검색되지 않나요?
아닙니다. robots.txt가 없어도 검색로봇은 다른 경로로 페이지를 발견할 수 있습니다. 다만 운영 의도를 명확히 전달하려면 기본 파일을 두는 편이 유용합니다.
Disallow하면 이미 색인된 페이지도 사라지나요?
즉시 삭제된다고 볼 수 없습니다. robots.txt는 크롤링을 막는 규칙이므로, 색인 제거 목적이라면 별도 방법을 확인해야 합니다.
검색형 사이트의 기본 구조부터 점검하려면
페이지 구조와 검색 수집에 관한 와잇애드 서비스 안내를 확인해보세요.
웹문서 안내 보기