오늘 할 일 (계획)
1. 추가 데이터 베이스 확충 하기
- 튜터님들에게 방법 아이디어 얻기. aspx
2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기
3. AI 분석 준비하기 - 두 번째 사이트 크롤링되면 실행할 수 있게 준비
오늘 한 일 (회고)
1. 추가 데이터 베이스 확충 하기
- 4번째 크롤링 코드 작업 중
- 문제가 되었던 사이트 네트워크 탭 페이로드로 해결 중
- 튜터님에게 기본 예제 코드 도움 받음
def scraping(payload_data, id_num, page):
response = requests.post('https://www.tastings.com/WebServices/ProcessRequest.asmx/SearchBeer', headers=headers,
data=payload_data)
json_res = json.loads(response.text)
json_res = json.loads(json_res['d'])
soup = BeautifulSoup(json_res['HtmlGrid'], 'html.parser')
payload_data를 이용하여 크롤러를 구성
2. 기존 크롤링한 사이트 말고. aspx로 작성된 사이트 크롤링 구상 중
내일 할 일
1. 추가 데이터 베이스 확충 하기
2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기
3. AI 분석 준비하기 - 두 번째 사이트 크롤링되면 실행할 수 있게 준비
4. 프로젝트 완성
'TIL' 카테고리의 다른 글
2-9[Project] 술 추천 시스템 구현 - 유저기반 추천 시스템 (0) | 2022.02.09 |
---|---|
2-8[Project] aspx 사이트 크롤링 완료 (0) | 2022.02.08 |
2-6[Project] Django를 이용한 검색기능 (0) | 2022.02.06 |
2-5[Project] Django view와 Django 템플릿 문법 (0) | 2022.02.06 |
2-4[Project] Orange bottle 크롤러 (0) | 2022.02.04 |