2-4[Project] Orange bottle 크롤러

오늘 할 일 (계획)

1. AI 크롤링 시작하여 데이터 베이스에 추가하기

 

2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기

 

오늘 한 일 (회고)

1. 크롤링 작업 완료 및 배포 완료 

- db.commit brake point 주의할 것 

delete = """
DELETE FROM test;
"""
cursor.execute(delete)

- 페이지 변경을 문자열 수정하는 방식으로 처리 가능

for p in range(1, page + 1):
    driver.get(
        "https://orangebottles.com/" + str(url) + "/?&page=" + str(p) + "&sort=like")
    print('페이지 전환')

작성한 코드 밑의 내용은 이전글의 aspx 형태의 사이트가 아님 

def main_scraper(category, category_name, id_num):
    i = 0
    for tr in category:
        i += 1
        id_num += 1
        try:
            img = tr.select_one('div:nth-child(' + str(i) + ') > div > div.item-thumbs > a > img')['data-original']
            title = tr.select_one('div:nth-child(' + str(i) + ') > div > div.item-detail > a > div > h2').text
            price = tr.select_one('div:nth-child(' + str(i) + ') > div > div.item-detail > a > div > div > p.pay').text
            description = tr.select_one('div:nth-child(' + str(i) + ') > div > div.item-detail > div.item-summary > p '
                                                                    '> span > strong > span').text
        except Exception as e:
            continue

        else:
            print("===================================" + str(i) + "==============================================")
            print('>>>>>>>>>>>>>>>>>>>>' + str(id_num) + '<<<<<<<<<<<<<<<<<')
            print(category_name)
            print(img)
            print(title)
            print(price)
            print(description)

            cursor.execute(
                f"INSERT INTO test VALUES('{id_num}','{category_name}','{img}','{title}','{price.strip()}','{description}')");

            db.commit()
    return id_num

orange bottle 사이트에 대한 내용 완료

 

내일 할 일

1. AI 크롤링 시작하여 데이터 베이스에 추가하기

 

2. 포켓몬 얼굴상 프로젝트 자동 업데이트 설정 완료하기