파이썬 Selenium을 활용한 네이버 서치어드바이저 URL 입력 '자동화'

티스토리 블로그는 네이버에서 검색 노출 빈도가 구글이나 다음 대비 상대적으로 떨어지는 것이 사실인 것 같습니다. 네이버 검색 엔진에 노출도를 향상시키기 위해서 티스토리 블로그를 네이버 서치 어드바이저에 등록을 하고 계실 것입니다.

네이버 서치 어드바이저에서 블로그 사이트를 등록하고 사이트 맵을 제출 하면 네이버 검색 로봇이 블로그에 방문하여 주기적으로 웹 페이지를 수집하지만, 간혹 수동으로 네이버 서치 어드바이저에 웹 페이지 수집을 요청하는 경우 URL을 '하나씩' 입력해야 해야 합니다. 실제 네이버에서 블로그를 검색해보면 오래된 게시글은 네이버 검색에서 제외되는 경우가 있다고 합니다. 실제 제 블로그에도 수입 현황을 보면 이유는 알 수 없지만 색인 생성수가 줄어드는 현상이 있습니다. 따라서 네이버 검색 노출을 위해서는 주기적으로 색인 요청을 할 필요가 있습니다.

본 포스팅은 파이썬의 Selenium 크롤링 패키지를 사용해서 자동으로 URL입력을 하는 방법을 설명합니다. 본 포스팅의 실행 결과는 아래 동영상을 참조해주세요.

네이버 서치 어드바이저 웹 페이지 수집 요청 자동화

1. 네이버 서치 어드바이저에 웹 페이지 '자동' 등록

이전 포스팅 내용과 동일하게 URL 자동 등록하기 위해서는 파이썬 프로그램과 Chrome webdriver 설치가 필요합니다. (IT 비 전공자 분께는 어려울 수도 있을 것 같습니다.)

1.1 파이썬에서 크롤링 준비

파이썬을 설치하고 Chrome webdriver를 설치합니다. 이에 대한 설명을 '여기'를 확인해서 설치해주세요. Chrome 브라우저가 설치하지 않은 경우 Chrome도 설치해야 합니다.

# python selenimu 패키지 설치

$ sudo pip3 install selenium

# chrome driver 설치 - Chrome 버전에 맞는 Web driver를 다운르도 사이트에서 설치해야 함 (리눅스는 chromedriver_linux64.zip, 윈도우는 chromedriver_linux64.zip 임.)

$ sudo mv chromedriver /usr/bin/ (or ~/.local/bin)

1.2. Python 소스 코드 다운로드 및 수정

제 Git Hub 사이트에서 naver_search_advisor폴더에서 naver_search_advisor_url_req.py 파일을 다운로드합니다.

다운로드 위치: https://github.com/kibua20/devDocs/tree/master/naver_search_advisor

naver_search_advisor_url_req.py 에서 naver_serach_advisor_url_req() 함수를 찾아서 각 티스토리 블로그에 맞는 값으로 수정해야 합니다. 수정이 필요한 부분은 ① 티스토리 ID와 ② 마지막 URL, ③ Text box의 ID를 수정해야 합니다. 네이버 서치 어드바이저에서는 하루에 50개만 URL 등록이 가능합니다. 그래서 가장 최근에 작성한 글 번호에서 이전 50개를 등록합니다.

#-----------------------------------------------------------------------------------------------------

def naver_serach_advisor_url_req():
# ① Naver Serach Advisor의 ID와 ② 티스토리 마지막 포스팅 번호
#your_id = 'kibua20'
your_id = 'your_id'

# 60번부터 10까지 URL 등록
last_url = 60
#-----------------------------------------------------------------------------------------------------

③ Text box의 ID는 네이버 사이트에서 접속할 때마다 변경됩니다. Text 아이디의 입력 값은 Chrome의 개발자 메뉴 (F12)를 누른 다음에 Select Element를 선택하면 아래와 같이 Text 박스의 아이디를 확인할 수 있습니다. Text Box의 아이디가 'input-389'인 경우로 Code에서는 아래와 같이 수정합니다. SW 로직상으로도 찾는 방법도 있지만 네이버에서 다른 방식으로 변경할 수 있기 때문에 수동으로 Text Box의 ID를 찾습니다.

# text bod id가 변경됨
try:
element = browser.find_element_by_id("input-389")
except:
element = browser.find_element_by_id("input-202")