Python Data Type and Operations¶ In [1]: import warnings warnings.filterwarnings('ignore') I. Python Function¶ 1) 함수 실행¶ print( ) 실행 In [2]: print('Hello World') Hello World 매개변수(Parameter) 및 인자/인수(Argument) 지정 In [3]: print('Hello World', end = '\t') Hello World In [4]: print('Hello', 'World', sep = '-') Hello-World 내장 매뉴얼 In [5]: help(print) Help on built-in function print in module builtins: ..
# Coding
이번 시간에는 Scrapy 프레임 워크를 사용하여 웹 크롤링을 해보자. Scrapy 프레임 워크는 Selenium이나 BeautifulSoup같이 method를 호출해서 접근하는 방식을 쓰는 라이브러리와 달리, Django 처럼 템플릿이나 패턴 규칙에 따라 파일을 작성 후 실행하는 방식으로 진행된다. 0. 환경 설정 임의의 폴더 생성 및 VS Code로 열기 > 터미널 실행 $ virtualenv venv 가상환경 생성 $ source venv/Scripts/activate 가상환경 실행 (venv) $ pip install scrapy 가상환경에 Scrapy 설치 1. 프로젝트 실행 (venv) $ scrapy startproject Scrapy_tutorial ‘Scrapy_tutorial’ 프로젝트..
이번 시간엔 Selenium대신 BeautifulSoup를 활용하여 크롤링을 진행해보자. 이전 글- Selenium을 활용한 웹 크롤링 Web Crawling (with Selenium) (2) 이번에는 지난 시간에 이어 Selenium을 활용하여 크롤링 코드를 만들어 보자. 가상환경에서 jupyter lab을 실행하고, ipynb을 작성한다. 필자는 지난 시간에 만들어 준 crawling 폴더에서 실습을 진행한다 sim-ds.tistory.com BeautifulSoup는 웹에서 응답하는 여러 방식들 (HTML, XML, JSON 등)을 수프객체로 만들어서 추출하기 쉽게 만들어주는 라이브러리이다. 0. 패키지 설치 저번 시간에 이어 Python 가상환경에 필요한 추가 패키지를 설치해주자 requirem..
이번에는 지난 시간에 이어 Selenium을 활용하여 크롤링 코드를 만들어 보자. 가상환경에서 jupyter lab을 실행하고, ipynb을 작성한다. 필자는 지난 시간에 만들어 준 crawling 폴더에서 실습을 진행한다. Web Crawling (with Selenium) (1) Selenium은 간단하게 일회성으로 웹크롤링하기 좋은 패키지이다. (다회성이 아닌 이유: 코드 유지-보수가 힘들기 때문) 이번 시간에는 Webdriver manager와 Selenium을 활용해 웹사이트에 접속하는 것을 sim-ds.tistory.com 1. 구글 이미지 다운로드 ‘Selenium.ipynb’ 파일을 생성한 뒤, 먼저 아래 코드를 작성한다. from selenium import webdriver from s..
Django는 프레임워크로서 사용시 유저가 일정한 패턴을 따라가야합니다. 이번 시간에 이 패턴과 Django에서 사용하는 주요 파일의 역할에 대해서 간단하게 알아봅시다. 1. MTV (MVC) Django에서는 MTV(Model-Template-View) 패턴을 사용합니다. 이 패턴은 MVC(Model-View-Controller) 패턴과 유사한 개념을 가지고 있으며, 다음과 같이 대응됩니다. Model (M): 데이터 처리를 담당하는 부분 Template (T): 사용자 인터페이스를 표현하는 부분 (MVC에서는 View와 비슷한 역할) View (V): 비즈니스 로직을 처리하는 부분 (MVC에서는 Controller와 비슷한 역할) Django의 MTV에서 Templates는 사용자 인터페이스를 표현하..
Selenium은 간단하게 일회성으로 웹크롤링하기 좋은 패키지이다. (다회성이 아닌 이유: 코드 유지-보수가 힘들기 때문) 이번 시간에는 Webdriver manager와 Selenium을 활용해 웹사이트에 접속하는 것을 해보자. 1. 환경 세팅 빈 폴더 생성 후 VS Code로 접속 -> 터미널 실행 후 $ virtualenv venv Python 가상환경 설정 $ venv/Scripts/activate 가상환경 활성화 selenium webdriver-manager jupyterlab $ pip install -r requirements.txt requirements.txt 불러와서 pip로 설치 $ jupyter lab jupyter lab 실행 python > crawling 폴더생성 후 test..
이번에는 streamlit을 활용하여 주식 정보를 보여주는 페이지를 만들어보자. 저번 시간에 실습했던 폴더에서 VS Code를 실행 app5.py 파일을 생성해준다. Streamlit 기능에 대한 자세한 설명은 생략할 것이기 때문에, 생소한 부분들은 이전 글을 참조해주길 바란다. Streamlit 맛보기 (2) 1. 가상환경 세팅 및 패키지 설치 이번 시간에는 streamlit의 다양한 기능들을 살펴보자 임의 폴더 생성후 VS Code로 열고, 같은 경로에 requirements.txt 파일과, app.py 파일을 만들어준다. streamlit pandas nump sim-ds.tistory.com Streamlit으로 회귀분석 페이지 만들기 이번 시간에는 streamlit을 이용하여 회귀 분석을 시행해..
