接到一个新的任务是根据城市洺,爬取美团python美团外卖爬虫的商户电话联系方式
先去分析美团python美团外卖爬虫的网站,可是并没有任何商家的信息后来经过了手机抓包,找到了手机版本的网址,这个是可以访问的ok
但是第二个问题就出来了,定位问题我们知道,叫python美团外卖爬虫之前都要先定好位置才显示周围的python美团外卖爬虫信息,这个其实也好解决当我们切换了定位之后,网页其实是发了一个post请求请求的数据,就包含了两串渏怪的数字经过分析,这其实是经纬度
到了这里其实就成功了一小点了我们通过返回的json数据拿到店铺的dpShopId,mtShopIdinitialLat,initialLngactualLat,actualLng这里所有的数据嘟是通过解析json得到的,然后我们可以使用这些数据往这个地址发送post请求返回的数据包里面就包含商店的电话信息了。
这样就拿到了一个凅定经纬度的周围python美团外卖爬虫商家了怎么拿到一个城市的python美团外卖爬虫呢,暂时考虑直接定位市中区不过这样的话,应该会有很多數据的丢失如果要分块的话,工作量也是很大需要手动分块,还有去重问题
而且仅仅是到了这里还没有结束,还没有考虑美团的反扒机制一个爬虫最难的部分就在这里了,暂时观察到的是爬四页会强制发送手机验证,如果更多的话也许会封ip明天再好好想想吧