amikor megpróbálom lekaparni az adatokat a következő webhelyről
Ezt a bedbathbeyond webhelyről szereztem, és ha kérést és beautifulsoup-ot használok, nem kapok semmit. Miert van az?
kód:
r = requests.get(url)
soup = BeautifulSoup(r.content,'lxml')
soup.find_all('span', class_ = 'BVRRReviewAbbreviatedText')
a visszatérési érték üres: []
js2py-t használtam, mivel a materials objektum több kulcsot (BVRRRatingSummarySourceID, BVRRSecondaryRatingSummarySourceID és BVRRSourceID) tartalmaz, és a HTML-t innen kaptam az értékei a regex-szel sokkal nehezebbek lennének, ha minderre szükséged lenne.
from bs4 import BeautifulSoup
import js2py
import requests
r = requests.get('https://bedbathandbeyond.ugc.bazaarvoice.com/2009-en_us/1061083288/reviews.djs?format=embeddedhtml')
pattern = (r'var'
r'\s+'
r'materials'
r'\s*=\s*'
r'{"BVRRRatingSummarySourceID".*}')
js_materials = re.search(pattern, r.text).group()
obj = js2py.eval_js(js_materials).to_dict()
html = obj['BVRRSourceID']
soup = BeautifulSoup(html, 'lxml')
spans = soup.select('span.BVRRReviewAbbreviatedText')
>>> len(spans)
5
Az alábbi példában csak a BVRRSourceID kulcs alatti HTML-t használtam, de használhatja a teljes HTML-t az értékek összekapcsolásával:
html = ''.join(obj.values())
Ne felejtse el telepíteni a js2py: pip install js2py és pip install lxml fájlokat, ha lxml értelmezőt szeretne használni.
Használhat szelén webdrivert, hogy megszerezze az Önt érdeklő html tartalmat. Például,
from selenium import webdriver
def get_html(url):
driver = webdriver.Chrome()
driver.maximize_window()
driver.get(url)
time.sleep(5)
html_content = driver.page_source.strip()
return html_content
