[조코딩 웹 개발 5주 완성] 2주차 정리 - 검색 엔진에 내 사이트 등록

* 조코딩 웹 개발 5주 완성 강의를 듣고 개인 복습을 위해 정리한 글입니다. 

https://www.youtube.com/watch?v=lkh_S7TJNGw&t=8431s 

 

검색 엔진에 내 사이트 등록

 

검색 엔진의 원리

네이버나 구글 등에는 크롤러 봇이 있는데, 이 봇이 모든 사이트들을 돌아다니면서 정보를 수집하고 분류를 하는 역할을 한다. 검색 엔진은 이 크롤러 봇이 가지고 온 정보를 바탕으로 내가 어떤 것을 검색했을 때 그것에 최적화된 사이트를 보여주는 것이다. 따라서 크롤러 봇이 내 사이트가 있음을 인식하도록 만들어야 한다.

 

크롤러 봇이 특정 사이트를 찾는 원리

1. robots.txt 파일을 읽어 이 사이트의 접근 허용(읽어도 되는지 안되는지) 정책에 따라 판단한다.

※ robots.txt : 크롤러 봇에 대한 정책이 들어있는 파일 

 

2. 크롤러 봇이 sitemap.xml을 보고 사이트에 구성된 링크들을 인식하여 어디를 탐색해야 하는지 확인할 수 있다.

※ sitemap.xml: 이 사이트에 어떤 URL들이 있는지 경로를 알아볼 수 있는 파일 (봇을 위한 지도, 안내서)

 

3. 이 사이트 URL로 접속을 하여 내 사이트에 있는 정보를 가져온다.

 

네이버 검색 엔진에 등록

1. naver search advisor 사이트에 들어가 로그인을 해준다.

https://searchadvisor.naver.com/

네이버 서치어드바이저

 

2.  웹마스터 도구를 클릭한다.

 

 

3. 사이트 URL을 입력해준다.

 

 

4. 등록 버튼을 누르면 사이트 소유확인 화면이 나온다.

 

 

5. HTML 파일 업로드 방식을 권장하고 있으므로 이 방법을 이용한다.

 

HTML 파일 업로드 방식 과정에 따라 순서대로 진행하면 된다. 먼저 (1번 과정) HTML 확인 파일 버튼을 눌러 다운로드하고 (2번 과정) 그 파일을 루트 디렉터리에 업로드하면 되는데 루트 디렉터리의 위치는 다음과 같다.

 

 

그다음 HTML 확인 파일을 서버에도 반영시키기 위해 다시 netlify에 들어가 수정한 폴더를 업데이트를 해준다.

 

수정한 폴더 public_html을 업로드해주는 화면

 

netlify>Deploys 업데이트된 모습

 

(3번 과정) https://hjcoding.shop/naverb9feffa4b44a8f31d7bff95a54a9bce8.html를 클릭하여 HTML 확인 파일이 업로드되었는지 확인한다. 다음과 같은 화면이 뜨면 업로드된 것이다.

 

 

6. 위 과정을 다한 후에 소유 확인 버튼을 누르면 사이트 소유 확인이 완료된다.

 

 

 

등록이 완료된 모습

 

robots.txt 생성하기

1. 검증 > robot.txt에 들어간다.

 

 

2. 아래에 내려보면 robots.txt 간단 생성이 있다.

 

 

User-agent: *
Allow: /

 

User-agent란 로봇의 이름인데,

모든 agent에 대해서 이 크롤링하는 것을 허용하겠다는 의미이다.

내 사이트를 공개해서 모든 검색 엔진이 다 긁어올 수 있게 만들려면 이와 같이 입력하면 된다.

 

Yeti는 네이버 로봇인데 User-agent에 Yeti라고 적으면 네이버에서만 검색이 된다. 어디서나 검색이 되도록 하려면 모든 검색로봇으로 변경해주어야 한다.

 

 

3. 다운로드를 하면 robot.txt 파일이 만들어진다. 이 파일을 index.html이 있는 경로에 위치시켜준다.

 

 

sitemap.xml 생성하기

1. 아래의 사이트에 접속한다.

 

https://www.xml-sitemaps.com/

Create your Google Sitemap Online - XML Sitemaps Generator

 

-> Sitemap을 쉽게 만들어주는 사이트

 

2. 도메인을 복사하고 start를 눌러주면 Sitemap 생성이 된다.

 

 

3. 다음과 같이 생성이 완료되면 View Sitemap Details를 클릭한다.

 

 

4.  다운로드 버튼을 누른다.

 

 

5. robots.txt 파일을 넣었던 위치에 sitemap.xml 파일도 위치시켜준다.

 

 

추가

robots.txt 파일에 sitemap의 위치를 적어주면 더 쉽게 찾을 수 있도록 만들어 줄 수 있다.

 

 

 

6. robots.txt 파일과 sitemap.xml 파일 생성한 파일을 서버에 업데이트해준다.

 

 

7. 제대로 업데이트된 것을 확인하기 위해 내 사이트에 /robots.txt를 입력해본다. 다음과 같이 뜨면 잘 된 것이다.

 

 

robots.txt 정보 수집  & 사이트맵 제출

 

robots.txt 정보 수집 요청

 

수집 요청 버튼을 누르면 다음과 같이 나오게 된다.

 

사이트맵 제출

 

요청>사이트맵 제출에서 URL 입력에 sitemap.xml을 입력하고 확인 버튼을 눌러주면 네이버 봇 Yeti가 들어와서 이 사이트를 잘 찾을 수 있게 된다.

 

 

구글 검색 엔진에 등록

 

1. 아래의 사이트에 접속한다.

https://search.google.com/search-console/about

Google Search Console

 

2. 시작하기를 누르면 다음과 같이 뜨게 되는데 도메인을 입력하고 계속 버튼을 누르면 된다.

 

 

3. 도메인 소유권 확인 화면이 나오게 되는데 도메인 인증은 도메인 관리를 하고 있는 netlify에 다시 접속해서 해야 한다.

 

 

4. netlify에 들어가서 Domain settings를 클릭한다.

 

 

5. Options에서 Go to DNS panel을 클릭한다. 

 

 

6. Add new record 버튼을 클릭한다.

 

 

7. 다음과 같이 뜨게 되는데 다시 Google search console의 도메인 소유권 확인 창을 확인해서 그 과정대로 해준다.

 

 

 

이와 같이 작성해주고 save를 누른다.

 

 

그러면 hjcoding.shop에 txt라는 타입으로 구글에서 알려준 값을 넣을 수 있게 된 것이다.

 

 

8. 위의 과정을 다 완료한 후에 이 화면에서 확인 버튼을 눌러주면 소유권이 확인되었다는 메시지가 뜨게 된다.

 

 

9. 속성으로 이동을 클릭하면 다음과 같은 화면에서 볼 수 있듯이 도메인 등록이 완료되었고 하위 경로도 붙일 수 있게 되었음을 볼 수 있다.

 

 

Sitemaps 추가

 

도메인과 sitemap.xml을 추가하여 제출을 해준다.

 

성공이 나오면 제대로 제출된 것이다.