네이버 서치어드바이저 웹마스터 도구 : 네이버 검색 Yeti 설정

(참고: 만일 본 블로그를 참조한다면 맨 앞에서부터 읽기를 권장한다. 컴퓨터를 잘하고 프로그래밍도 잘하는 분은 너무도 뻔한 이야기라서 도움이 안되지만 이제 컴퓨터라는 분야에 흥미를 갖게되는 분들에게는 분명 도움이 되리라 확신한다. )

 

 

 

 

 

지금부터는 네이버 검색 크롤러인 Yeti가 내 사이트를 찾도록 설정하는 방법을 정리해 본다. 

 

 

검색엔진 또한 컴퓨터 언어로 만들어진 프로그램으로 AI가 탑재된 봇(bot)의 개념이다. 즉, 스스로 학습하면서 업그레이드 되는 개념이라고 할까? (조금 무섭긴 한데...)

 

네이버의 검색엔진 봇(크롤러 Crawler)은 Yeti라고 이름도 있다. 지식백과를 보면 크롤러는 봇(bot), 스파이더(spider), 지능에이전트 등 여러가지 이름으로 불려지는데 편하게 Yeti라고 하고 내 사이트를 찾도록 설정해 보자.

 

Yeti가 인터넷상에서 내 웹사이트를 찾아낼려면 Yeti가 접근하게 해 줘야 한다. 마치 나비가 꽃으로 찾아오듯이 Yeti가 찾아오게 만드는 꽃 역할을 하는 파일을 만들어 줘야 한다. 그 파일 이름은 robots.txt로 만들어 준다. 아울러, 내 웹사이트의 정확한 위치를 나타내기 위해 sitemap.xml 이라는 파일도 만들어서 내 웹사이트 폴더에 넣어주면 된다. 

 

 

그러면 네이버 써치어드바이저로 들어가서 웹마스터도구를 글릭한다. 

 

출처: 네이버

 

지난 시간 내사이트 소유확인이 완료된 사이트를 클릭한다. 

 

출처: 네이버

 

 

검증으로 들어가서 나비가 찾아갈 수 있는 꽃인 robots.txt를 클릭한다. 

 

출처: 네이버

 

내 웹사이트에 robots.txt가 없다는 경고메시지가 뜬다. (당연히 없겠지..)  확인 후 하단에 robots.txt 간단생성으로 간다. 

 

출처: 네이버

 

네이버 검색로봇인 Yeti가 내 웹사이트 수집을 허용하도록 네이버에서 아예 robots.txt 파일을 만들어 놓았다. 우리처럼 프로그램 언어를 모르는 사람들에게는 참 친절한 안내다. 

 

출처: 네이버

 

이 파일을 다운로드 하고 내 웹사이트 폴더로 옮겨 놓기만 하면 끝!

 

그런데.... 요즘 네이버 뿐 아니라 검색은 구글이 최고 아닌가? 또 구글뿐 아니라 수 많은 검색로봇이 웹상에서 돌아 다니고 있을텐데 Yeti만 허용하는 것은 좀 아까운 면이 있다.  해서 전체 검색로봇으로 바꾸자. 그리고 다운로드 

 

출처: 네이버

 

내 웹사이트 폴더로 저장해 주고 robots.txt를 열어보자. 

 

 

내용이 잘 들어와 있다. 

 

 

두번째로 내 사이트의 위치를 정확하게 파악해 주는 sitemap.xml 파일을 만들어본다. 

 

항상 우리는 구글링에서 쉽게 가져오도록 한다. 

 

출처: 구글

 

 

그럼 URL을 넣은 공간에 내 웹사이트 주소를 입력하고 START 버튼

(일단 간단히 무료로 만들어진다..  밑에는 분명 유료일것이다. 안해봤다..)

출처: XML-sitemaps.com

 

완료되면 VIEW SITEMAP DETAILS로 들어간다. 

 

출처: XML-sitemaps.com

 

 

다운로드 

 

출처: XML-sitemaps.com

 

이전 robots.txt 가 들어가 있는 내 웹사이트 폴더로 다운로드된 sitemap.xml 파일을 옮겨준다. 

 

 

※ 여기서 주의할 점은 robots.txt와 sitemap.xml은 내 웹사이트 폴더 최상단에 위치해야 한다. 웹사이트내 다른 서브폴더로 위치하면 로봇이 접근하지 못한다고 한다. 

 

어찌되었던 처음에 설명했듯이 검색로봇들(나비)이 찾아올 수 있는 robots.txt(꽃)에 방금 만든 sitemap.xml 의 위치를 추가해 주고 저장

 

이제 준비가 완료되었다. 

 

지난 내사이트 소유확인하기 시간에서처럼 항상 우리는 다음 사항을 머리에 넣어두고 움직여야 한다. 

 

① 내 컴퓨터에서 하고 있는 작업과 변경은 내 컴퓨터에서만 일어난다. (프론트엔드 영역)

② 내 작업이 최종 반영되기 위해서는 웹호스팅이 되고 있는 서버에 항상 저장(업로드)해야 한다. (백엔드 영역)

 

 

나처럼 컴퓨터에 관심을 갖기 시작한 분은 첫번째 블로그부터 보면 이해가 쉽다. ^^

 

 

자 지금까지 robots.txt와 sitemap.xml을 만들고 코드도 최종 세팅하였다. 그러면 이 작업이 작동되기 위해서는 무엇을 해야 하나? 그렇다. 서버에 업로드를 해야한다. 

 

 

우리가 사용하고 있는 무료 웹호스팅 사이트인 Netlify로 가서 robots.txt와 sitemap.xml이 추가된 폴더를 Deploy 해 준다. 

 

 

출처: Netlify

 

 

Deploy 후 네이버 웹마스터도구로 가서 robots.txt 수집요청을 해보자.

 

출처: 네이버

 

수집요청을 하면 잘 반영이 된 것을 확인할 수 있다.

 

출처: 네이버

 

이로써 내 웹사이트 검색엔진 설정이 완료되었다. 천천히 해보면 참 재미를 느끼게 된다. 새롭게 또 알아가고 ㅎㅎ

다음 시간에는 검색이 좀 더 잘 되도록 웹사이트최적화라는 주제로 가보도록 하겠다.