728x90 Crawling6 [Python] 파이썬으로 크롤링하기 part.6 (네이버 자동 로그인 후 메일 보내기 with selenium) 이전 시간에는 static web page에 대해 아이템을 가져오는 방법에 대해서 학습했다.그러나 실제 크롤링에 많이 사용할 web page는 staric이 아닌 dynamic web page이다. 그 중에서 우리가 가장 익숙한 네이버 로그인을 진행하는데, 지금까지 배운 모든 것을 다 사용할 예정이다.또한 dynamic web page에 사용하게 될 라이브러리인 selenium이 추가된다. 설치해 주자.pip install selenium selenium은 원하는 화면 상태에 도달할 수 있도록 웹 브라우저를 조작 할 수 있다.예를 들어서, 우리가 진행할 네이버 메일을 확인하기 위해서 로그인 과정을 거쳐야 한다거나, 유튜브 댓글을 모두 크롤링하는데 스크롤을 내려는 등 이런 상황에서 원하는 버튼을 클릭 하거.. 2024. 8. 1. [Python] 파이썬으로 크롤링하기 part.5 (여러 페이지에서 많은 아이템 가져오기) 이전과 같은 페이지인 http://jekyllthemes.org/ 에서 아이템을 반복해서 가져오도록 한다. Jekyll Themes jekyllthemes.org 접속 후 F12를 눌러 dev tool의 Elements로 이동한다.이렇게 무수히 많은 item들이 있는데, 이 화면의 item을 모두 가져와보자.import requestsfrom bs4 import BeautifulSoupresponse = requests.get("http://jekyllthemes.org")html = response.textsoup = BeautifulSoup(html, 'html.parser')soup.select_one(".item")전 시간에 했던 것 처럼 우선 맨 처음의 item을 가져와본다.Adam Blog v.. 2024. 8. 1. [Python] 파이썬으로 크롤링하기 part.4 (아이템 가져오기) 지금부터 실제 url에 있는 데이터를 가져와 python에서 결과를 받는 작업을 진행한다.http://jekyllthemes.org/ Jekyll Themes jekyllthemes.org위 페이지는 static webpage로 미리 정의된 html 및 css를 사용하여 고정된 콘텐츠를 표시하는 웹페이지이다.개인 블로그, 포트폴리오 사이트, 기업 소개 등 변화가 적고 간단한 웹 사이트에 주로 사용된다. 정적 웹 크롤링에는 3단계로 진행 된다.1단계. 원하는 웹 페이지의 html문서를 싹 긁어온다.2단계. 긁어온 html 문서를 파싱(Parsing)한다.3단계. 파싱한 html 문서에서 원하는 것을 골라서 사용한다. 이제 시작하기 전 두 가지 라이브러리를 설치하도록 한다.pip install request.. 2024. 8. 1. [Python] 파이썬으로 크롤링하기 part.3 (html, css 이해) 웹 페이지를 크롤링하기 위해서는 html과 css에 대해 이해를 해야 작성된 페이지에서 내가 원하는 정보를 가져올 수 있다.간단한 코드를 통해 간략히 소개만 하고 넘어가도록 하겠다. VS Code에 html_basic.html 파일을 추가하여 다음과 같이 내용을 작성했다. Hello, World! 메시지 작성 테스트 완료 문단 태그 url 연동 태그 텍스트 및 버튼 추가 저장하기 테스트 1 테스트 2 테스트 3 위의 html과 실행한 web page를 비교해보자 사이에 있는 이 탭의 제목으로 쓰여진 것으로 볼 .. 2024. 7. 31. [Python] 파이썬으로 크롤링하기 part.2 (오토 마우스, 오토 키보드) 마우스를 움직여 화면 꺼짐이나 자리비움을 방지하는 내용은 다음 페이지에서 확인한다.https://haku-s.tistory.com/40 [Python] 슬립모드/자리비움 방지 프로그램 "imworking.exe"내가 자리에 있지 않아도 OS의 화면 보호기 실행를 막거나, 커뮤니케이션 툴(Teams, Slack, Discode 등)의 자리 비움을 막고 싶을 때가 있다.그래서 이전에 배운 오토마우스, 오토키보드에 GUI를 추가하haku-s.tistory.com이번에는 python으로 간단하게 마우스를 제어하는 방법을 배우도록 한다.마우스를 제어하기 위해서는 pyautogui의 package가 필요하다. 오토 마우스를 제어해 볼 ipynb 파일을 하나 추가하고 pyautogui를 설치한다.pip install.. 2024. 7. 31. [Python] 파이썬으로 크롤링하기 part.1 (설치 및 준비) https://www.python.org/downloads/ Download PythonThe official home of the Python Programming Languagewww.python.org페이지에서 python 최신버전을 받아 설치한다. 설치 시 "Add python.exe to PATH" 체크박스를 꼭 선택 후 설치를 진행한다.그렇지 않으면 설치 후 수동으로 path를 잡아야하는데 상당히 귀찮게 된다. VS Code를 설치 후 확장 프로그램에서 python을 설치하여 사용하도록 한다. 이제 정상적으로 python이 실행되는지 확인해보도록 한다.프로젝트를 생성 후 임의의 폴더를 만들고 해당 폴더에서 VS Code를 연 뒤에 {fineName}.py 파일을 생성한다.파일의 내용으로 pri.. 2024. 7. 31. 이전 1 다음 728x90
