Hoin's security

보호되어 있는 글입니다.

보호되어 있는 글입니다.

웹 크롤링(Web Crawling)이란?: 웹상의 정보들을 탐색하고 수집하는 작업을 의미함. 스파이더 봇이라고도 한다.웹을 크롤링 하여 특정 페이지의 내용을 학습하고 향후 검색을 위해 정보를 저장해둔다.주로 데이터 수집, 인덱싱, 콘텐츠 분석 등을 목적으로 사용된다.URL을 타고다니며 반복적으로 데이터를 가져오는 과정(데이터 색인)이 진행된다.왜 사용?: 인터넷에 존재하는 방대한 양의 정보를 사람이 일일히 파악하는 것은 불가능. -> 자동으로 탐색해주는 웹 크롤러 사용. 웹 스크래핑(Web Scraping)이란?: 특정 웹 사이트나 페이지에서 필요한 데이터를 자동으로 추출해 내는 것을 의미한다.원하는 정보를 추출하기 위해 ‘스크래퍼 봇’이 특정 웹 사이트에 콘텐츠를 다운로드하기 위한 HTTP GET 요청..

주제 선정 이유이전에 다크웹 분석 프로젝트를 진행했던 적이 있었는데 그때 크롤러를 굉장히 유용하게 사용했던 기억이 있다.그래서 크롤러에 대해 알아보니 보안뉴스와 여러 보안 사고 사실들을 접하게 되면서 일반 오픈 웹에서는 크롤러가 사이버범죄의 악용된다는걸 알게 되었다.크롤러가 어떻게 악용되었는지 알아보고 크롤러가 긍정적으로 사용될 수 있는 부분을 직접 실습해보고 싶어져 해당 주제를 고르게 되었다.위 내용을 팀원들에게 설명했고 새로운 개념을 접하게 된 팀원들은 흥미를 느껴 크롤링에 대해 더 알아보고 싶다는 의견을 주었다. 그 외 관련 보안기사들을 보면서 웹 크롤링이 보안 사고에도 많이 쓰이다는 것을 알고 이에 관련된 프로젝트를 해보고 싶다는 의견 또한 수렴하여 최종 프로젝트 주제로 선정되었다. 프로젝트 진행..

보호되어 있는 글입니다.