티스토리 블로그 robots.txt 파일 만들고 설정하는 방법

티스토리 블로그 운영하면서 검색 엔진에서 좀 더 잘 노출되고 싶으신가요? 그럼 지금부터 티스토리 블로그 robots.txt 파일을 만들고 설정해서 검색 엔진의 동작을 제어하는 방법을 알려드릴게요! robots.txt 파일도 본문 아래쪽에 올려두었으니 다운받아서 사용하실 수 있습니다.

 

 

robots.txt 파일이란?

robots.txt 파일은 웹사이트 루트 디렉토리에 위치하며, 검색 엔진 로봇에게 어떻게 웹페이지를 크롤링하고 인덱싱해야 하는지에 대한 지침을 제공합니다.

즉, 특정 부분의 접근을 허용하거나 제한할 수 있답니다.

보다 자세한 설명은 아래 사이트에 잘 나와 있으니 한번 읽어보세요.

robots.txt 파일 검색 엔진 크롤링을 조절하는 핵심 도구 - 멱AI

 

티스토리 robots.txt 만드는 방법

1. 티스토리 로그인

먼저 티스토리 블로그 관리자 페이지에 로그인해주세요.

 

2. 스킨편집 클릭

티스토리 블로그 html 편집

블로그 관리로 들어가서 "스킨편집"을 클릭합니다.

 

3. 파일 추가

티스토리 블로그 robots.txt 파일 올리기

"파일업로드" 탭을 클릭하고 추가 버튼을 클릭해서 robots.txt 파일을 업로드합니다.

 

4. 링크 확인

변경사항을 저장하고 나서 티스토리 블로그의 robots.txt 파일이 제대로 업데이트되었는지 확인해주세요.

업데이트가 잘 되었는지 확인해보려면 "본인블로그주소/robots.txt" 랍니다.

저의 걸로 예를 들자면 "https://devit.koreacreatorfesta.com/robots.txt" 가 되겠네요.

 

robots.txt 파일 설정 예시

1. 일반적인 robots.txt 파일 예시

# 모든 로봇에게 적용되는 지시
User-agent: *

# 특정 디렉토리 제한
Disallow: /admin/

# 특정 디렉토리 허용
Allow: /public/

# 로봇이 각 페이지를 크롤링하기 전에 20초의 지연
Crawl-delay: 20

특정 디렉토리를 차단하고 싶다면 'Disallow'를 사용하고, 허용하고 싶다면 'Allow'를 사용하시면 돼요.

이 코드를 티스토리 블로그에 맞게 수정해서 사용해보세요!

 

2. 티스토리 적용한 robots.txt 파일

제가 사용하는 티스토리 robots.txt 파일은 다음과 같아요.

User-agent: *
Disallow: /guestbook
Disallow: /m/guestbook
Disallow: /manage
Disallow: /owner
Disallow: /admin
Disallow: /search
Disallow: /m/search

User-agent: bingbot
Crawl-delay: 20

방명록, 관리자페이지 등은 검색에서 수집하지 말라고 해놨답니다.

아래의 robots.txt 파일을 다운로드 받아서 티스토리에 올리시면 됩니다.

robots.zip

0.00MB

 

결론

티스토리 블로그의 robots.txt 파일을 활용하면 검색 엔진의 동작을 제어할 수 있어요.

이를 통해 원하는 페이지가 검색 결과에 잘 노출될 수 있도록 설정해보세요.