用python爬取动态网页时，普通的requests，urllib2无法实现。例如有些网站点击下一页时，会加载新的内容，但是网页的URL却没有改变(没有传入页码相关的参数)，requests、urllib2无法抓取这些动态加载的内容，此时就需要使用Selenium了。
使用Selenium需要选择一个调用的浏览器并下载好对应的驱动，我使用的是Chrome浏览器。
将下载好的chromedrive.exe文件复制到系统路径:E:\python\Scripts下，如果安装python的时候打path勾的话这个目录就会配置到系统path里了，如果没有的话，请手动把这个路径添加到path路径下。
下载的浏览器驱动也要看清楚对应自己浏览器版本的，如果驱动与浏览器版本不对是会报错了。
国内不能直接访问Chrome官网，可以在ChromeDriver仓库中下载：http://chromedriver.storage.googleapis.com/index.html
我的浏览器需要下载的是倒数第三个，请读者根据自己的电脑和浏览器的版本实际情况下载；
放到上面的python那个安装文件夹后，我记得也是需要放到chrome浏览器安装目录下的
查找chrome安装路径
把下载的驱动放到这个路径下
然后也把chrome浏览器的安装路径添加到path路径中。
配置好之后，实现爬虫的代码如下：
importtimeimportrandomimportrequestsimporturllib.requestfrom selenium importwebdriverfrom selenium.webdriver.common.by importByfrom selenium.webdriver.support.ui importWebDriverWaitfrom selenium.webdriver.support importexpected_conditions as ECdefget_url(url):
time.sleep(3)return(requests.get(url))if __name__ == "__main__":
driver= webdriver.Chrome() #初始化一个浏览器对象
dep_cities = ["北京","上海","广州","深圳","天津","杭州","南京","济南","重庆","青岛","大连","宁波","厦门","成都","武汉","哈尔滨","沈阳","西安","长春","长沙","福州","郑州","石家庄","苏州","佛山","烟台","合肥","昆明","唐山","乌鲁木齐","兰州","呼和浩特","南通","潍坊","绍兴","邯郸","东营","嘉兴","泰州","江阴","金华","鞍山","襄阳","南阳","岳阳","漳州","淮安","湛江","柳州","绵阳"]for dep indep_cities:
strhtml= get_url('https://m.dujia.qunar.com/golfz/sight/arriveRecommend?dep=' + urllib.request.quote(dep) + '&exclude=&extensionImg=255,175')
arrive_dict=strhtml.json()for arr_item in arrive_dict['data']:for arr_item_1 in arr_item['subModules']:for query in arr_item_1['items']:
driver.get("https://fh.dujia.qunar.com/?tf=package")#等待出发地输入框加载完毕，最多等待10s
WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "depCity")))#清空出发地文本框，输入出发地和目的地，点击“开始定制”按钮
driver.find_element_by_xpath("//*[@id='depCity']").clear()
driver.find_element_by_xpath("//*[@id='depCity']").send_keys(dep)
driver.find_element_by_xpath("//*[@id='arrCity']").send_keys(query["query"])
driver.find_element_by_xpath("/html/body/div[2]/div[1]/div[2]/div[3]/div/div[2]/div/a").click()print("dep:%s arr:%s" % (dep, query["query"]))for i in range(10):
time.sleep(random.uniform(5, 6))#如果定位不到页码按钮，说明搜索结果为空
pageBtns = driver.find_elements_by_xpath("html/body/div[2]/div[2]/div[8]")if pageBtns ==[]:break
#找出所有的路线信息DOM元素
routes = driver.find_elements_by_xpath("html/body/div[2]/div[2]/div[7]/div[2]/div")for route inroutes:
result={'date': time.strftime('%Y-%m-%d', time.localtime(time.time())),'dep': dep,'arrive': query['query'],'result': route.text
}print(result)if i < 9:#找到“下一页"按钮并点击翻页
btns = driver.find_elements_by_xpath("html/body/div[2]/div[2]/div[8]/div/div/a")for a inbtns:if a.text == u"下一页":
a.click()breakdriver.close()
可能是网络慢运行的时间有点长才有输出。爬虫的话建议网速带宽要大些这样就会避免一些很乱的错误了。
六安网站优化佛山做网站温州软件开发高端网站制作泰州网站建设蚌埠seo微信小程序开发注册湖北建站湖北网站建设公司汕头网站优化北海网站建设网站建设流程步骤怀化seohybrid开发上海网站建设大连网站优化商务网站设计程序开发外包凯里网站开发苏州网站建设公司哪家好长沙网站制作公司海宁网站建设北京网页制作公司苏州建站公司大庆seoios注册开发者账号郑州制作网站随州seo株洲网站优化胶州网站建设常德seo