4팀_ 파이썬 보안 프로젝트 [Python 웹 크롤러 제작] - 1주차

주제 선정 이유

이전에 다크웹 분석 프로젝트를 진행했던 적이 있었는데 그때 크롤러를 굉장히 유용하게 사용했던 기억이 있다.

그래서 크롤러에 대해 알아보니 보안뉴스와 여러 보안 사고 사실들을 접하게 되면서 일반 오픈 웹에서는 크롤러가 사이버범죄의 악용된다는걸 알게 되었다.

크롤러가 어떻게 악용되었는지 알아보고 크롤러가 긍정적으로 사용될 수 있는 부분을 직접 실습해보고 싶어져 해당 주제를 고르게 되었다.

위 내용을 팀원들에게 설명했고 새로운 개념을 접하게 된 팀원들은 흥미를 느껴 크롤링에 대해 더 알아보고 싶다는 의견을 주었다. 그 외 관련 보안기사들을 보면서 웹 크롤링이 보안 사고에도 많이 쓰이다는 것을 알고 이에 관련된 프로젝트를 해보고 싶다는 의견 또한 수렴하여 최종 프로젝트 주제로 선정되었다.

 프로젝트 진행현황

초기 계획

초기에 주식 상승 하락을 해당 기업의 기사를 크롤링해 분석하려 하였으나 보안과 관련이 없고 주식에 초점이 맞춰지는 것 같아 진행 방향을 수정했다.

최종적으로는 다크웹 포럼 사이트를 크롤링해보기로 하였고 이에 대해 일정이 수정되었다.

일정

~5/7

: 웹 개념, selenium, beutifulsoup 등 크롤러 제작에 필요한 개념 익히기-  https://wikidocs.net/135794

3-8. 웹크롤링

위 링크 도서를 참고하여 학습하는걸 과제로 했고 모든 그룹원 학습 완료되었음.

https://hoin.tistory.com/83

파이썬 웹크롤러 제작 기초

 

 

~5/15

: 팀원 - 크롤링(스크래핑)과 일반 검색 기능 차이 학습, 크롤러를 이용한 범죄 사례 조사하여 스크랩하기.

 팀장 - 크롤링(스크래핑)과 일반 검색 기능 차이 학습, 크롤링할 다크웹 포럼 조사하기.

 -> 데이터 유출 위주로 셀렉하고 있음.

 

5/14

: 미팅을 통해 포럼 확정하고 포럼 양식에 맞추어 크롤러 수정하기.

 

5/15~5/17

: 크롤링 실습 마무리. (+ 크롤링이 제대로 진행되지 않는 경우 실습일을 늘리고 발표자료 제작팀과 크롤러 개발팀을 분리하여 21일까지 마무리 할 예정).

 

5/18~5/21

: 발표자와 발표자료 제작팀을 분리하여 발표를 준비할 예정.

 

* 크롤러를 포럼에 수정하는 과정이 원활히 이루어지지 않을 경우 오픈웹크롤러 개발 및 크롤링 범죄 대응 방안 위주로 진행될 예정입니다.

예상 결과물

크롤러, 사이트 분석 보고서