자바스크립트 웹스크래핑으로 구글 검색 결과 가져오기

안녕하세요. 이번 시간에는 사용하고 계신 인터넷 브라우저 콘솔에서 웹스크래핑 할 수 있는 자바스크립트를 만들 거예요. 웹스크래핑 대상은 구글의 검색 결과입니다! 입력받은 키워드로 검색 결과를 가져오도록 할 건데요. 알 수 없는 이상한? 사이트까지 목록에 나오지 않도록 필터링할 도메인(naver, daum 등)을 같이 입력받아서 제목과, URL 정보를 보여주도록 할 거예요. 참고로 웹스크래핑은 웹페이지의 HTML 구조가 변경될 경우, 코드도 함께 수정해 주어야 해요. 어느 날 갑자기 결과를 못 가져온다면? 아마도 HTML의 구조가 변경되었을 거예요. 그럼 그 웹페이지에 가서 다시 코드를 분석하고 기존 코드를 수정해야겠죠! 이번에도 CORS 우회 프록시 서버를 활성화해 주세요. 처음이신 분들은 아래 이전 글..

• format_list_bulleted 개발 이야기/Javascript 이야기
• · 2023. 5. 20.
• textsms

블로그 순위 확인하는 자바스크립트 만들기

안녕하세요. 저번 시간에는 웹 스크래핑으로 네이버 블로그의 게시글 가져오는 법을 배웠는데요. 그 데이터들을 사용해서 내 글이 몇 번째에 검색되는지 순위를 확인하는 코드를 만들어 볼 거예요. 이번 시간에도 브라우저의 개발자도구 콘솔을 사용합니다. 시작하기 전에 준비할게 하나 있는데요. 바로 네이버 검색 API입니다. 아래 네이버 개발자 센터를 통해 1분이면 발급이 가능합니다! 네이버 검색 API 발급받기 검색 - SERVICE-API 검색 NAVER Developers - 검색 API 소개 웹, 뉴스, 블로그 등 분야별 네이버 검색 결과를 웹 서비스 또는 모바일 앱에서 바로 보여 줄 수 있습니다. 또한 ’OO역맛집’과 같은 지역 검색을 할 수도 있으 developers.naver.com 1. 오픈 API ..

• format_list_bulleted 개발 이야기/Javascript 이야기
• · 2023. 5. 12.
• textsms

자바스크립트로 웹스크래핑 하는 방법

안녕하세요. 오늘은 자바스크립트(JavaScript)로 웹 스크래핑(Web Scraping) 하는 방법에 대해 알아볼 거예요. 웹 스크래핑이란 웹 페이지에 있는 정보를 추출하는 과정이에요. 웹페이지는 HTML로 작성되어 있는데 웹 스크래핑을 통해 HTML 코드에서 우리가 원하는 정보를 찾아낼 수 있답니다. 웹 스크래핑은 서버 사이드 언어를 사용해서 수행하는 것이 일반적이에요. 하지만 프로그래밍에 필요한 소프트웨어 설치와 설정 과정이 복잡하기 때문에 오직 인터넷 브라우저만 있으면 바로 수행할 수 있는 자바스크립트로 알아보도록 할게요. 1. 아래와 같이 메뉴로 이동하거나, F12 키를 눌러서 개발자 모드를 활성화합니다. 2. 개발자 모드에서 아래 빨간 네모칸의 콘솔 모드 탭을 선택합니다. 콘솔 창만 띄우면 ..

• format_list_bulleted 개발 이야기/Javascript 이야기
• · 2023. 5. 11.
• textsms