Зачистка количество ретвитов, используя BeautifulSoup

Question

Привет Я использую BeautifulSoup для соскабливания данных щебета и я хочу, чтобы очистить количество ретвитов для каждого твита и мой ниже мой код

import urllib2 
from bs4 import BeautifulSoup 

url = "https://twitter.com/nokia" 
response = urllib2.urlopen(url) 
soup = BeautifulSoup(response,"html.parser") 
tweets = soup.findAll('li',{"class":'js-stream-item'}) 
for tweet in tweets: 
    if tweet.find('p',{"class":'tweet-text'}): 
     tweet_user = tweet.find('span',{"class":'username'}).text 
     tweet_text = tweet.find('p',{"class":'tweet-text'}).text.encode('utf8') 
     retweets = tweet.find('span',{"class":"ProfileTweet-actionCount"}).text 
     print(tweet_user) 
     print(tweet_text) 
     print(retweets) 
    else: 
     continue 

Я могу получить tweet_user и tweet_text но некоторые, как не в состоянии получить количество ретвитов может кто-нибудь объяснить мне, как получить число ретвитов

Answer 1

Хотя использование tweepy рекомендуется
код с небольшими изменениями:

import requests 
from bs4 import BeautifulSoup 

url = "https://twitter.com/nokia" 
response = requests.get(url) 
soup = BeautifulSoup(response.text,"lxml") 
tweets = soup.findAll('li',{"class":'js-stream-item'}) 
for tweet in tweets: 
    if tweet.find('p',{"class":'tweet-text'}): 
     tweet_user = tweet.find('span',{"class":'username'}).text.strip() 
     tweet_text = tweet.find('p',{"class":'tweet-text'}).text.encode('utf8').strip() 
     replies = tweet.find('span',{"class":"ProfileTweet-actionCount"}).text.strip() 
     retweets = tweet.find('span', {"class" : "ProfileTweet-action--retweet"}).text.strip() 
     print(tweet_user) 
     print(tweet_text) 
     print(replies) 
     print(retweets) 
    else: 
     continue