小工具知识网

当前位置: 首页 > 行业知识 > 万能爬虫-爬取哔哩哔哩数据

行业知识

万能爬虫-爬取哔哩哔哩数据

2026-11-07 22:36:52 来源:互联网转载
from selenium import webdriverfrom selenium.webdriver.support.ui import WebDriverWaitfrom selenium.webdriver.support import expected_conditions as ECfrom selenium.webdriver.common.by import Byfrom selenium.webdriver.chrome.service import Service  from time import sleep service = Service('./chromedriver.exe')browser = webdriver.Chrome(service=service)#变量browser是浏览器#框架(固定格式)'''关键词:黑客,python,c++ 的视频名称和点赞数等信息'''url='https://search.bilibili.com/all?keyword=c%2B%2B&from_source=webtop_search&spm_id_from=333.1007&search_source=5'browser.get(url) #browser.get(url) 用浏览器打开链接browser.find_element(By.XPATH,'/html/body/p[3]/p/p[2]/p[1]/p[2]/p/nav/ul/li[2]/span/span[1]').click()#代表查找结点sleep(2) #暂停2sfor ix in range(1,3):    for i in range(1,4):        sleep(2)        xpath=f'/html/body/p[3]/p/p[2]/p[2]/p/p/p[1]/p[{i}]/p/p[2]/p/p/a/h3'        title=browser.find_element(By.XPATH,xpath).text        print(title)        browser.find_element(By.XPATH,xpath).click()        browser.switch_to.window(            browser.window_handles[1]            )        res=browser.find_element(By.XPATH,'/html/body/p[2]/p[2]/p[1]/p[3]/p[1]/p[1]/p[1]/p/span').text        print(res)        browser.close() #关闭当前选项卡        browser.switch_to.window(            browser.window_handles[0]            )    browser.find_element(By.XPATH,f'/html/body/p[3]/p/p[2]/p[2]/p/p/p[2]/p/p/button[{ix}]')#/html/body/p[3]/p/p[2]/p[2]/p/p/p[2]/p/p/button[2]#/html/body/p[3]/p/p[2]/p[2]/p/p/p[2]/p/p/button[8]#browser.get('链接') #https://search.bilibili.com/video?keyword=c%2B%2B&from_source=webtop_search&spm_id_from=333.1007&search_source=5    '''    选项卡:0    程序选项卡还在0    切换选项卡到1        browser.current_window_handle 当前选项卡        browser.window_handles 所有选项卡        browser.switch_to.window()切换选项卡            '''browser.quit() #关闭浏览器

上一篇:宝塔面板U盘挂载教程,轻松扩展文件存储空间!

下一篇:战争雷霆怎么连接服务器?