python爬虫爬取微博粉丝数据

现如今，微博成为大多数追星族追星的渠道之一，通过超话打卡，微博打榜，控评等维护自己的偶像。而品牌方会根据明星粉丝流量选取合适的代言人或活动嘉宾，微博中的粉丝数据可以很简单的分析出，本文小编就从爬虫的角度带领大家使用python爬虫爬取微博粉丝数据。

1、自动登录微博

driver = webdriver.Chrome(driver_path)   driver.maximize_window()   driver.get(weibo_url)   time.sleep(10)   time.sleep(2) driver.find_element_by_name("username").send_keys(username)   driver.find_element_by_name("password").send_keys(password)   driver.find_element_by_xpath("//a[@node-type='submitBtn']").click()  

2、获取cookie并将返回的Cookies数组转成微博需要的cookie格式

for x in range(len(cookies)): value = cookies[x]['name'] + "=" + cookies[x]['value'] + ";" cookie = cookie + value return cookie

3、利用BeautifulSoup库进行解析html操作

headers['Cookie']=cookie info_response = requests.get('http://s.weibo.com/user/' + names_list[x], headers)  # 微博搜索的页面url info_soup = BeautifulSoup(info_response.text, 'html5lib')  # 利用BeautifulSoup库进行解析html操作 info_soup = get_html(info_soup, "pl_user_feedList")

4、找到用户信息的html

weibo_info = info_soup.find_all('a', attrs={"class": "W_linkb", "target": "_blank"})  # 找到用户信息的html id = weibo_info[0].get('href')  # 用户id subs_size = weibo_info[0].string  # 关注数 fans_size = weibo_info[1].string  # 粉丝数 contents_size = weibo_info[2].string  # 微博数 subs_size = int(re.sub("\D", "", subs_size))  # 只取出数字,其它的不管用,下面同理 fans_size = int(re.sub("\D", "", fans_size)) contents_size = int(re.sub("\D", "", contents_size)) id = int(re.findall('\d+', id)[0]) return [subs_size, fans_size, contents_size, id]

5、进行爬取

if __name__ == '__main__':     browser = WeiboFansCrawler()     browser.login()          star_lists = ['谢娜', '何炅', 'Angelababy', '杨幂', '陈坤', '赵薇', '姚晨',              '林心如', '邓超', '郭德纲', '林志颖', '张小娴', '赵丽颖', '范冰冰',              '贾乃亮', '唐嫣', '胡歌', '陈乔恩', '王力宏', '黄晓明', '文章同學',              '刘亦菲', '陈羽凡']          if len(browser.stars) == 0:         for star in star_lists:             browser.get_page_id(star)          with open('star_id.txt', 'w') as f:         f.write(str(browser.stars))          browser.get_fan_cnt()     browser.get_home_data()     browser.dump_home_data()          loop = 0     while True:         browser.get_fans_data()         browser.dump_fans_data()         loop += 1         if loop > 20:             break         time.sleep(100)          print(browser.stars)     print(browser.data)

以上就是python爬虫爬取微博粉丝数据的代码，大家可以套入代码直接使用哦~

网址：python爬虫爬取微博粉丝数据 http://c.mxgxt.com/news/view/1276305

相关内容

Python 爬虫实战：在微博爬取明星动态，挖掘粉丝互动热度
python如何爬取123粉丝网明星数据榜单
python爬虫实战(五) 爬取微博明星粉丝基本信息+可视化
比速度，Python爬虫还是八爪鱼？测评两款网络爬虫工具
八爪鱼和python爬虫哪个好
Python爬虫实现：追踪Taylor Swift抖音账号的首位粉丝动态
为了知道胡歌粉丝的男女比率，爬了三百万微博数据
爬取123粉丝网明星数据榜单，看看你的爱豆现在排名变化情况
又是爬虫惹祸，非法抓取微博数据，超级星饭团这次栽微博手上了！
❤️ 爬虫分析CSDN大佬之间关系，堪比娱乐圈 ❤️

随便看看