当前位置：首页 > 行业知识 > 【网络安全带你练爬虫-100练】第2练：爬取指定位置数据

行业知识

【网络安全带你练爬虫-100练】第2练：爬取指定位置数据

2026-11-11 23:20:43 来源：互联网转载

��录

一、思路

二、工具

三、代码处理

第一部分：发起请求+接收响应（不过多讲）

第二部分：解析HTML页面+提取数据

第三部分：处理数据

一、思路

分解步骤，化繁为简

爬虫分为五步走：

发起HTTP请求：爬虫使用HTTP协议向目标网址发送请求，请求获取特定的HTML页面。这可以通过使用编程语言中的HTTP库（例如Python中的requests库）来实现。
接收HTTP响应：目标服务器接收到请求后，将返回一个HTTP响应。该响应包含了所请求的HTML页面内容。
解析HTML页面：爬虫需要解析HTML页面以提取所需的数据。这可以通过使用HTML解析库（例如Python中的Beautiful Soup库或lxml库）来实现。
提取数据：一旦HTML页面被解析，爬虫可以根据特定的选择器或XPath表达式来提取所需的数据。这些选择器或表达式可以帮助定位和提取HTML页面中的元素，如标题、链接、文本等。

处理数据：在提取数据后，爬虫可以对数据进行进一步处理、清洗或存储，以便后续分析或展示。

二、工具

解析数据的工具：如xpath、Beautiful Soup、正则表达式等很多

1、安装Beautiful Soup

是 Python 的一个第三方库，可以用来解析网页数据

pip3 install beautifulsoup4

官方文档：https://beautifulsoup.readthedocs.io/zh_CN/latest/

2、安装 lxml

lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式

pip3 install lxml

三、代码处理

第一部分：发起请求+接收响应（不过多讲）

import requestsif __name__ == '__main__':    url1="https://beautifulsoup.readthedocs.io/zh_CN/latest/"    req=requests.get(url=url1)    req.encoding='utf-8'    print(req.text)

第二部分：解析HTML页面+提取数据

我们关心的数据都在标签里面

p 标签的属性有class、id

属性值分别为：section、id7

import requestsfrom bs4 import BeautifulSoupif __name__ == '__main__':    url = "https://beautifulsoup.readthedocs.io/zh_CN/latest/"    req = requests.get(url)    req.encoding = 'utf-8'    html = req.text  # 将获取到的网页内容保存到变量html中    bs = BeautifulSoup(html, 'lxml')    text = bs.find('p',)    print(text)

第三部分：处理数据

（1）做到所有最小单位的数据所在的上一级标签

（2）找到每个最小单位的数据所处的同一级标签

（3）分析最小单位标签内的详细信息所在标签

（4）完整代码：

（为了方便大家一步一步来，很多地方没最优化）

import reimport requestsfrom bs4 import BeautifulSoupdef get_TYC_info():    headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}    html = get_page(TYC_url)    soup = BeautifulSoup(html, 'lxml')    GS_list = soup.find('p', attrs={'class': 'index_list-wrap___axcs'})    GS_items = GS_list.find_all('p', attrs={'class': 'index_search-box__7YVh6'})    for item in GS_items:        title = item.a.text.replace(item.a.span.text, "")        link = item.a['href']        company_type = item.find('p', attrs={'class': 'index_tag-list__wePh_'}).find_all('p', attrs={'class': 'index_tag-common__edIee'})[0].text        money = item.find('p', attrs={'class': 'index_info-col__UVcZb index_narrow__QeZfV'}).span.text        print(title.strip())        print(link)        print(company_type)        print(money)def get_page(url):    try:        headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}        response = requests.get(url, headers=headers, timeout=10)        return response.text    except:        return ""if __name__ == '__main__':    TYC_url = "https://www.tianyancha.com/search?key=&base=hub&city=wuhan&cacheCode=00420100V2020&sessionNo=1688108233.45545222"    get_TYC_info()

结果如图：

（5）逐行解释

1、导入了需要使用的模块：re用于正则表达式操作，requests用于发送HTTP请求，BeautifulSoup用于解析HTML。

import reimport requestsfrom bs4 import BeautifulSoup

2、自定义一个函数get_TYC_info()，用于获取天眼查（TYC）的信息

def get_TYC_info():

3、定义了请求头（headers），以模拟浏览器发送请求。

headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}

4、调用自定义的get_page()函数，将TYC_url作为参数传递给它，并将返回的HTML内容赋值给变量html

html = get_page(TYC_url)

5、使用BeautifulSoup模块解析HTML，创建一个BeautifulSoup对象soup，参数'lxml'表示使用lxml解析器。

soup = BeautifulSoup(html, 'lxml')

6、从解析后的HTML中找到class属性为index_list-wrap___axcs的p元素，并将其赋值给变量GS_list

GS_list = soup.find('p', attrs={'class': 'index_list-wrap___axcs'})

7、从GS_list中找到class属性为index_search-box__7YVh6的所有p元素，并将它们存储在列表GS_items中

GS_items = GS_list.find_all('p', attrs={'class': 'index_search-box__7YVh6'})

8、遍历GS_items列表，对于每个元素，提取标题、链接、公司类型和金额信息，并打印输出。其中，title通过替换掉item.a下的span标签内的文本为空字符串来获得。link是item.a标签的href属性值。company_type通过在item内进行查找，找到class属性为index_tag-list__wePh_的p元素，然后在这个p元素下的所有class属性为index_tag-common__edIee的p元素中获取第一个元素的文本内容。money通过在item内进行查找，找到class属性为index_info-col__UVcZb index_narrow__QeZfV的p元素，然后获取其中的span标签的文本内容。

for item in GS_items: title = item.a.text.replace(item.a.span.text, "")     link = item.a['href']    company_type = item.find('p', attrs={'class': 'index_tag-list__wePh_'}).find_all('p', attrs={'class': 'index_tag-common__edIee'})[0].text     money = item.find('p', attrs={'class': 'index_info-col__UVcZb index_narrow__QeZfV'}).span.text print(title.strip())     print(link)     print(company_type)     print(money)

9、自定义了一个名为get_page()的函数，用于发送HTTP请求并返回响应的HTML内容。

def get_page(url):

10、在get_page()函数内部，首先定义了请求头（headers），然后使用requests模块发送GET请求，传递URL和请求头，并设置超时时间为10秒。如果请求成功，返回响应的HTML内容；如果出现异常，则返回

    try:        headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/44.0.2403.89 Chrome/44.0.2403.89 Safari/537.36'}        response = requests.get(url, headers=headers, timeout=10)        return response.text    except:        return ""

11、入口程序

if __name__ == '__main__':    TYC_url = "https://www.tianyancha.com/search?key=&base=hub&city=wuhan&cacheCode=00420100V2020&sessionNo=1688108233.45545222"    get_TYC_info()