TIL

2-7[Project] aspx 사이트 분석 크롤링 준비

오늘 할 일 (계획) 1. 추가 데이터 베이스 확충 하기 - 튜터님들에게 방법 아이디어 얻기. aspx 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기 3. AI 분석 준비하기 - 두 번째 사이트 크롤링되면 실행할 수 있게 준비 오늘 한 일 (회고) 1. 추가 데이터 베이스 확충 하기 - 4번째 크롤링 코드 작업 중 - 문제가 되었던 사이트 네트워크 탭 페이로드로 해결 중 - 튜터님에게 기본 예제 코드 도움 받음 def scraping(payload_data, id_num, page): response = requests.post('https://www.tastings.com/WebServices/ProcessRequest.asmx/SearchBeer', headers=headers, data=..

2-6[Project] Django를 이용한 검색기능

오늘 할 일 (계획) 1. Drink plus 기본 틀 완성시키기 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기 - 지연중 오늘 한 일 (회고) 1. Drink plus 기본 틀 완성 시키기 - 메인페이지 디즈니 플러스 테마에 맞는 방식으로 수정 완료 - 검색기능 초안 구현 orm을 이용하여 검색할 수 있는 방법 사용 category = TestModel.objects.filter(category_name__contains=query) __contains 옵션으로 검색 유연성 추가 2. 기존 크롤링한 사이트 말고. aspx로 작성된 사이트 크롤링 구상 중 내일 할 일 1. 추가 데이터 베이스 확충 하기 - 튜터님들에게 방법 아이디어 얻기. aspx 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설..

2-5[Project] Django view와 Django 템플릿 문법

오늘 할 일 (계획) 1. 추가 데이터 베이스 확충 하기 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기 오늘 한 일 (회고) 1. 데이터 베이스에서 views.py로 데이터 받아와서 html에서 처리하는 것 구현 이전 프로젝트에서 파이썬 파일과 js파일 이용한 방식으로 구현하다가 너무 쉽게 됨 html 템플릿이 렌더링 될때 category_beer 객체를 같이 전달하고 해당 내용을 장고 템플릿 문법을 통하여 for문으로 처리하여 사용하는 방식을 처음 접해봄 {% for category in category_beer %} 2. 기존 크롤링한 사이트 말고. aspx로 작성된 사이트 크롤링 구상 중 * 코드 def drink_db_view(request): print("drink_db_view 실행..

2-4[Project] Orange bottle 크롤러

오늘 할 일 (계획) 1. AI 크롤링 시작하여 데이터 베이스에 추가하기 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기 오늘 한 일 (회고) 1. 크롤링 작업 완료 및 배포 완료 - db.commit brake point 주의할 것 delete = """ DELETE FROM test; """ cursor.execute(delete) - 페이지 변경을 문자열 수정하는 방식으로 처리 가능 for p in range(1, page + 1): driver.get( "https://orangebottles.com/" + str(url) + "/?&page=" + str(p) + "&sort=like") print('페이지 전환') 작성한 코드 밑의 내용은 이전글의 aspx 형태의 사이트가 아님 def..

2-3[Project] 정체 상태

오늘 할 일 (계획) 1. AI 크롤링 시작하여 데이터 베이스에 추가하기 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기 오늘 한 일 (회고) 1. 크롤링 테스트 중 https://orangebottles.com/ https://www.tastings.com/Home.aspx 해당 사이트 내용들을 필요한 내용에 맞게 크롤링할 수 있는 코드 준비 중 내일 할 일 1. AI 크롤링 시작하여 데이터 베이스에 추가하기 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기

2-2[Project] SQL 쿼리문 연습

오늘 할 일 (계획) 1. AI 크롤링 시작하여 데이터 베이스에 추가하기 2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기 오늘 한 일 (회고) 1. 크롤링 테스트 중 https://colab.research.google.com/drive/17-K28NXS3xAnBNvlwZixxCQjP1h4UkEe?usp=sharing SQL 쿼리문 연습 Colaboratory notebook colab.research.google.com - ORM에 대한 이해가 부족해서 Mysql 쿼리문을 이용하여 Scraper 제작중 - 향후 적절한 사이트의 데이터를 가져와서 사용할 수 있게 할 예정 - Cursor의 개념이 생소하여 시간이 많이 걸렸으며 db.commit() 함수가 실행될 때 자동으로 break가 되어 실행..