목록전체 글 (73)
성장 기록 블로그🌴
%1011 파이썬 웹크롤링 3일차! ( 한솥 메뉴 가져오기 )
- 한솥 메뉴 정보 가져오기 - ◆ 파이썬 기본 개념정리 한솥도시락 메뉴 데이터 수집하기! # 2. Web driver 실행 및 브라우저 제어를 위한 라이브러리 - Chrome 브라우저 사용 from selenium import webdriver as wb # 키보드의 값을 제어할 수 있는 라이브러리 (space,enter,/,숫자,f1~f12,end,방향키 등등) from selenium.webdriver.common.keys import Keys # 요소를 접근하기 위한 방식을 활용할 수 있는 라이브러리 from selenium.webdriver.common.by import By # 반복문을 이용해서 버튼 클릭 시 딜레이 주기 위해 사용 import time 한솥..
%1011 파이썬 크롤링 뿌시기 3일차! ( selenium 라이브러리, 검색 데이터 입력, 검색 데이터 자동 검색하기 )
◆ 파이썬 기본 개념정리 Selenium : 동적인 웹 페이지의 데이터를 수집할 때 사용하는 라이브러리 동적인 웹 페이지 : 사용자의 제어에 의해서 보여지는 컨텐츠를 가진 페이지 ex) 클릭했을 때 새로운 컨텐츠가 보여지거나 스크롤을 내렸을 때 새로운 컨텐츠가 보여지거나 제어 : 클릭 , 스크롤 , 창 닫기 , 데이터 입력하기 등등 1. Selenium 라이브러리 설치 -> !pip install selenium 2. webdriver 설치 : https://chromdriver.chromium.org/downloads => 현재 브라우저 버전에 맞춰 설치 (크롬 경우 - 크롬 설정-> 크롬 정보: 업데이트 버전 확인) => 윈도우 ,..
! 1011 JSP&Servlet 1일차!
◆ JSP&Servlet 기본 개념정리 WAS : 프로그램을 자동으로 만들어내는 녀석 ( 프로그램 언어 ) CGI : 서버에서 프로그램과 통신 할 수 있도록 도와주는 녀석 => WAS가 알아서 관리해줌 Server : 웹에서 작동함 Program HTML : 동적으로 동작시켜줌 Program DB CGI Server Program : thread 발생 -> 자원 관리 도와줌 클라이언트로부터 데이터가 넘어오면 데이터를 받아서 처리하는객체와 클라이언트에게 응답을 할 수 있는 객체 1. Web Server Programming을 사용하는 이유? (요청에 따른) 동적인 페이지를 생성하기 위해서 2. JSP/Ser..
%1008 파이썬 웹크롤링 2일차! ( 네이버 영화 리뷰 수집, 영화 공조2 리뷰 , 파일 읽고 쓰기 , WordCloud 라이브러리 )
◆ 파이썬 웹크롤링 기본 개념정리 네이버 영화 리뷰 수집하기 HTML 문서 관련 라이브러리 호출 # HTML 문서를 요청 / 응답을 받기 위한 라이브러리 import requests as req # HTML 문서를 객체화 하기 위한 라이브러리 - BeautifulSoup from bs4 import BeautifulSoup as bs # 데이터 프레임 import pandas as pd # 프로그램 동작에 딜레이를 주기 위한 라이브러리 import time User-Agent 가져와서 사용자 검증 받아두기 # 서버에는 사용자임을 검증하는 특정한 값이 있다. => 그 값: User-Agent # User-Agent : 브라우저 관련 정보를 보관하고 있는 변수 # 확인하는..
! 1008 자바 스크립트 뿌시기 3일차! ( 배열 , 함수 , 객체 )
◆ 자바스크립트 기본 개념정리 # 코딩테스트 준비하면 좋은 사이트 - programmers https://programmers.co.kr/?utm_source=google&utm_medium=cpc&utm_campaign=brand_prgms_pc&gclid=Cj0KCQjwnP-ZBhDiARIsAH3FSReXzg8KlbWQDlMeuvJ2WeynYyx7LWdCD77tswRI6UnEJjEjQ6TetkMaAgCzEALw_wcB - 자바의 배열은 가변적! , pop함수 , push 함수 //JS에서의 배열은 가변적이다!!(크기가 고정되어 있지 않다!) let array = [1 ,2 ,3 ]; array[3 ] = 4 ; // 이렇게..
%1007 파이썬 웹크롤링 실습 - ( 멜론 차트에 있는 노래 제목과 가수 출력 하기 ! )
◆ 파이썬 기본 개념정리 멜론 음원데이터 수집하기 - ( 노래제목 , 가수 ) HTML 문서 관련 라이브러리 호출 # HTML 문서를 요청 / 응답을 받기 위한 라이브러리 import requests as req # HTML 문서를 객체화 하기 위한 라이브러리 - BeautifulSoup from bs4 import BeautifulSoup as bs User-Agent 가져와서 사용자 검증 받아두기 # 서버에는 사용자임을 검증하는 특정한 값이 있다. => 그 값: User-Agent # User-Agent : 브라우저 관련 정보를 보관하고 있는 변수 # 확인하는 방법 : 개발자도구 -> 네트워크 -> 특정파일선택 -> request headers영역 # 이 방법으로 r..
%1007 파이썬 웹크롤링 1일차 ( 빅데이터 , 웹 크롤링 개념 , 데이터 수집 , 네이버 메뉴 출력 , 뉴스 제목 내용 출력하기 )
◆ 파이썬 웹크롤링 기본 개념정리 # 빅데이터 – 정형 데이터(ex)공공데이터) + 비정형 데이터 (ex) 소셜데이터..) 디지털 환경에서 생성되는 수치 , 문자 , 이미지, 영상 데이터를 모두 포함하는 대규모 데이터 데이터 수집&저장 -> 2. 데이터 처리&분석 -> 3. 데이터 시각화&응용 => 우리는 데이터를 수집하고 저장함 웹 사이트의 내용에 접근하여 원하는 정보를 추출해 내는 행위 이를 이용해서 데이터들을 한번에 자동 크롤링을 하고 나중에 또 필요한 경우에는 코드를 실행만 해주면 최신의 데이터들도 한 번에 모을 수 있음 requests : 접근할 웹 페이지의 데이터를 요청 / 응답받기..
%1006 파이썬 최종 실습 예제 ( 빅데이터 , 데이터 관리 , 데이터 분석 ) - 광주 범죄 현황 데이터로 범죄 증감율 예측해보기!
◆ 파이썬 기본 개념정리 pandas 최종 실습 문제 # 1. 데이터 불러오기 # 데이터 불러오기 import pandas as pd data2019 = pd.read_csv('./2019.csv', index_col = '관서명', encoding = 'euc-kr') data2020 = pd.read_csv('./2020.csv',index_col = '관서명', encoding = 'euc-kr') data2021 = pd.read_csv('./2021.csv',index_col = '관서명', encoding = 'euc-kr') # 2. 인덱스 확인 (인덱스 겹치지않게 출력하기) # df명.index.unique() data2019.index.unique() Index(..