네이버 웹마스터도구 robots.txt
1.네이버 서치어드바이저에서 웹마스터도구
네이버에 네이버웹마스터도구를 검색
2. 웹마스터 도구 선택
3. 사이트관리에서 사이트 선택
4. 사이트 관리 검증
5. robots 선택 수집요청 robots.txt 다운로드
6. 티스토리로 가서 스킨편집 선택
7. 스킨편집에서 html 편집
8. 다운로드한 robots.txt 파일을 업로드합니다.
9. URL 검사 확인
10. ✅ 미수집이라고 나올수도 있으나 조금시간이 지나면 정상적으로 처리 ✅
robots.txt
`robots.txt`는 웹사이트의 루트 디렉터리에 위치하는 텍스트 파일로, 검색 엔진 로봇(크롤러)이 해당 사이트의 어떤 부분을 크롤링할 수 있는지 또는 크롤링할 수 없는지 지시하는 파일입니다.
이 파일을 통해 웹사이트 소유자는 검색 엔진 크롤러가 접근하지 않길 원하는 디렉터리나 파일을 지정할 수 있습니다.
아래는 `robots.txt` 파일의 예시와 기본적인 구성 요소에 대한 설명입니다:
### 기본 예시
```txt
User-agent: *
Disallow: /private/
Allow: /public/
Sitemap: http://www.example.com/sitemap.xml
```
### 구성 요소
1. **User-agent**:
- 특정 크롤러 또는 모든 크롤러에게 규칙을 적용할 때 사용합니다.
- `*`는 모든 크롤러를 의미합니다.
- 특정 크롤러를 지정하려면 그 크롤러의 이름을 사용합니다. 예: `User-agent: Googlebot`
2. **Disallow**:
- 지정된 경로를 크롤러가 접근하지 못하게 합니다.
- 예: `Disallow: /private/`는 `/private/` 디렉터리와 그 하위 디렉터리 내 모든 파일을 크롤링하지 않도록 합니다.
3. **Allow**:
- `Disallow` 규칙이 적용된 디렉터리 내에서 특정 파일이나 디렉터리에 대해 크롤링을 허용할 때 사용합니다.
- 예: `Allow: /public/`는 `/public/` 디렉터리를 크롤링할 수 있도록 합니다.
4. **Sitemap**:
- 사이트맵 파일의 위치를 지정합니다. 사이트맵은 검색 엔진에 사이트 구조를 알려주는 XML 파일입니다.
- 예: `Sitemap: http://www.example.com/sitemap.xml`
### 더 복잡한 예시
```txt
User-agent: Googlebot
Disallow: /no-google/
Allow: /no-google/special/
User-agent: Bingbot
Disallow: /no-bing/
User-agent: *
Disallow: /private/
Allow: /private/public-allowed/
Sitemap: http://www.example.com/sitemap.xml
```
### 설명
- `Googlebot`은 `/no-google/` 디렉터리에 접근할 수 없지만, `/no-google/special/` 디렉터리는 접근할 수 있습니다.
- `Bingbot`은 `/no-bing/` 디렉터리에 접근할 수 없습니다.
- 모든 크롤러는 `/private/` 디렉터리에 접근할 수 없지만, `/private/public-allowed/` 디렉터리는 접근할 수 있습니다.
- 사이트맵 파일의 위치가 지정되어 있어, 검색 엔진 크롤러가 사이트맵을 참조할 수 있습니다.
`robots.txt` 파일을 사용하면 검색 엔진 크롤러의 웹사이트 접근을 효율적으로 관리할 수 있으며, 크롤러가 중요한 콘텐츠에 더 집중하게 하여 SEO에 긍정적인 영향을 줄 수 있습니다.