파이썬 웹 크롤링


  • Level 3

    작업 디렉토리에 크롭 드라이버를 넣고 다음과 같은 코드를 작성했을 때 20개의 항목이 리스트에 들어가야 하는데 현재 페이지에 보이는 4개만 보입니다! 전부를 리스트에 넣으려면 어떻게 해야 하나요?

    from selenium import webdriver
    from selenium.webdriver.chrome.options import Options
    from selenium.webdriver.common.keys import Keys
    import time
    
    #0. chrome을 전체화면으로 넓히는 옵션
    options = Options()
    options.add_argument('--start-maximized')
    
    #1. 웹 드라이버 켜기
    driver = webdriver.Chrome("./chromedriver", chrome_options=options)
    
    #2. 네이버 지도 접속하기
    driver.get("https://map.naver.com/")
    
    #3. 검색창에 검색어 입력하기
    close_button = driver.find_element_by_css_selector("button#intro_popup_close")
    close_button.click()
    time.sleep(1)
    driver.find_element_by_css_selector("div.search_box.ng-star-inserted").click()
    time.sleep(1)
    search_box = driver.find_element_by_css_selector("input.input_search.ng-pristine")
    time.sleep(1)
    search_box.send_keys("치킨")
    
    #4. 검색 버튼 누르기
    search_box.send_keys(Keys.RETURN)
    time.sleep(1)
    #5. 검색 결과 확인하기
    
    container = driver.find_elements_by_css_selector("app search-item-place div.link_search div.search_box")
    
    title = []
    for i in container:
        tit = i.find_element_by_css_selector("strong").text.strip().replace("\n","")
        title.append(tit)
    print(title)
    
  • Level 3

    @alstn2468
    조언감사합니다! 링크는 map.naver.com 에서 치킨을 검색하였을때입니다!

  • Level 4

    @NAMKYU-PARK

    클래스가 동일한 모든 값을 가져오는데 참고할만 할 자료같습니다!

    https://stackoverflow.com/questions/5041008/how-to-find-elements-by-class

  • Level 4

    @NAMKYU-PARK
    링크에 들어갈수 없습니다 ㅠ
    css_selector가 아닌 class기반으로 크롤링을 진행하는게 좋을것 같습니다.

  • Level 3

    @NAMKYU-PARK
    url은 다음과 같고
    https://map.naver.com/v5/search/치킨?c=14103065.8469718,4504162.8471431,16,0,0,0,dh
    왼쪽에 나오는 가게 이름 들을 출력하고 싶습니다

  • Level 4

    @NAMKYU-PARK

    크롤링 하시려는 페이지 링크나 화면을 보여주시면
    답변 달기에 더 쉬울 것 같습니다.

  • Level 3

    네이버 지도에서 치킨이라고 검색하였을 때, 표시되는 20개 정도의 장소의 이름을 가져오고 싶습니다!

ONLINE USERS

POPULAR TOPICS

SUGGESTED TOPICS