python实现——综合类型数据挖掘任务（无监督的分类任务）

综合类型数据挖掘任务

航空公司客户价值分析。航空公司客户价值分析。航空公司客户价值分析。航空公司已积累了大量的会员档案信息和其乘坐航班记录（air_data.csv），以2014年3月31日为结束时间抽取两年内有乘机记录的所有客户的详细数据。利用聚类算法对客户数据进行群体划分，并根据客户群体LRFMC指标分析并给出各客户群体的类型。

数据共有62988条，每条数据具有44个特征。包含会员卡号、入会时间、性别、年龄、会员卡级别、工作地城市、工作地所在省份、工作地所在国家、观测窗口结束时间、观测窗口乘机积分、飞行公里数、飞行次数、飞行时间、乘机时间间隔、平均折扣率等特征。

3.1数据预处理

航空公司客户原始数据存在少量的缺失值和异常值，需要清洗后才能用于分析。票价为空值、票价最小值为0、折扣率最小值为0总飞行千米数大于0的记录。票价为空值的数据可能是由于不存在乘机记录造成的。其他的数据可能是由于客户乘坐0折机票或者积分兑换造成的。

处理后的数据有62044条。

# 读取原始数据data = pd.read_csv('air_data.csv')# 清洗数据# 将票价为空值的数据删除data = data[~data['SUM_YR_1'].isnull() & ~data['SUM_YR_2'].isnull()]# 将票价为0或折扣率为0但总飞行千米数大于0的记录删除data = data[~((data['avg_discount'] == 0) & (data['SEG_KM_SUM'] > 0))]# 将SUM_YR_1和SUM_YR_2同时为0的记录删除data = data[~((data['SUM_YR_1'] == 0) & (data['SUM_YR_2'] == 0))]

3.2特征提取

由于原始数据的特征过多，不便直接用于客户价值分析，因此需要对特征进行筛选，根据LRFMC模型挑选出衡量客户价值的关键特征，分别是：

• Length of Relationship: 客户关系时长，反映客户的活跃时长。
• Recency: 最近消费时间间隔，反映当前的活跃状态。
• Frequency: 客户消费频率，反映客户的忠诚度。
• Mileage: 客户总飞行里程，反映客户对乘机的依赖性。
• Coefficient of Discount: 客户所享受的平均折扣率，侧面反映客户价值高低。

  特征	对应字段
  L	LOAD_TIME与FFP_DATE之差
  R	LAST_TO_END
  F	FLIGHT_COUNT
  M	SEG_KM_SUM
  C	avg_discount

  特征提取后的数据为下图所示：

  # 假设你的数据框称为 df，包含了原始数据和对应的特征字段df = data# 计算 LRFMC 模型对应的特征df['L'] = (pd.to_datetime(df['LOAD_TIME']) - pd.to_datetime(df['FFP_DATE'])).dt.daysdf['R'] = df['LAST_TO_END']df['F'] = df['FLIGHT_COUNT']df['M'] = df['SEG_KM_SUM']df['C'] = df['avg_discount']from sklearn.preprocessing import StandardScaler# 创建一个标准化器scaler = StandardScaler()# 假设你的数据框称为 df，包含了需要标准化的特征字段features_to_scale = ['L', 'R', 'F', 'M', 'C']# 对选择的特征进行均值方差标准化df[features_to_scale] = scaler.fit_transform(df[features_to_scale])print(df)

   

  3.3数据标准化

  对提取的数据进行均值方差标准化。

  # 标准化数据scaler = StandardScaler()scaled_features = scaler.fit_transform(df2)df_scaled = pd.DataFrame(scaled_features, columns=df2.columns)

   

  3.4模型构建

  本项目为聚类类型的任务，选择Kmeans对数据进行聚类，从而得到航空公司客户的类型分析结果。但要聚成多少类，很难断定。所以需要采用循环的方法，以聚类的个数作为循环变量（2到10），依次训练不同聚类个数的Kmeans模型，使用calinski_harabasz_score方法对各个Kmeans模型的结果进行评分。

  # 创建一个空列表用于存放不同聚类数对应的评分scores = []# 设置循环，尝试不同的聚类个数for n_clusters in range(2, 6):    # 创建并训练Kmeans模型    kmeans = KMeans(n_clusters=n_clusters, random_state=42)    kmeans.fit(df_scaled)        # 使用calinski_harabasz_score方法对模型进行评分    score = calinski_harabasz_score(df_scaled, kmeans.labels_)    scores.append(score)# 打印各个聚类数对应的评分for n_clusters, score in zip(range(2, 6), scores):    print(f"Number of clusters: {n_clusters}, Calinski-Harabasz score: {score}")

   

   

  # 可视化不同聚类数对应的评分plt.figure(figsize=(10, 6))plt.plot(range(2, 6), scores, marker='o')plt.title('Calinski-Harabasz Score for Different Number of Clusters')plt.xlabel('Number of clusters')plt.ylabel('Calinski-Harabasz Score')plt.show()

   

  3.5模型训练

  从上图中可以看出，聚类个数为2时模型评分最高，但仅将客户划分为2类会导致客户分类结果过于笼统，因此退而求其次，选择模型分数第二高的4作为聚类个数。

  # 创建并训练最终的KMeans模型final_kmeans = KMeans(n_clusters=4, random_state=42)final_kmeans.fit(df_scaled)# 将每个样本分配到对应的簇中cluster_labels = final_kmeans.predict(df_scaled)# 将簇标签添加到原始数据中df2['cluster'] = cluster_labels# 查看每个簇中样本的数量cluster_counts = df2['cluster'].value_counts()print(cluster_counts)

   

  3.6结果分析

  根据聚类结果绘制客户特征分析雷达图，根据雷达图显示的情况来对每个客户群的特征进行分析。

   

  # 计算每个簇的平均特征值cluster_means = df2.groupby('cluster').mean()# 每个簇的特征名称features = cluster_means.columns.tolist()# 将第一个特征复制到列表末尾，以闭合雷达图features.append(features[0])# 绘制雷达图plt.figure(figsize=(10, 8))for cluster in range(4):    values = cluster_means.iloc[cluster].values.tolist()    values.append(values[0])    angles = np.linspace(0, 2 * np.pi, len(features), endpoint=False).tolist()    ax = plt.subplot(2, 2, cluster + 1, polar=True)    ax.fill(angles, values, 'b', alpha=0.1)    ax.plot(angles, values, linewidth=1.5, linestyle='solid', label=f'Cluster {cluster}')    ax.fill(angles, values, alpha=0.25)    ax.set_yticklabels([])    ax.set_thetagrids(np.degrees(angles), labels=features)    ax.set_title(f'Cluster {cluster}')plt.show()

   

  分析结果：

  群体	类型
  客户群体1	重要挽留客户
  客户群体2	一般客户
  客户群体3	低价值客户
  客户群体4	重要保持客户

  客户群体LRFMC指标分析：

  群体	会员资历L	最近乘机R	乘机次数F	飞行里程M	平均折扣C
  重要保持客户	★★★★	★	★★★★★	★★★★★	★★★★
  重要发展客户	★★★	★★★★	★★	★★	★★★★★
  重要挽留客户	★★★★★	★★★	★★★★	★★★★	★★★
  一般客户	★	★★★★	★★	★★	★
  低价值客户	★★	★★★★★	★	★	★★

  客户群体特点及策略：

  群体	特点及策略
  重要保持客户	平均折扣率高(C↑)，最近有乘机记录(R↓)，乘机次数高(F↑)或里程高(M↑) 这类客户机票票价高，不在意机票折扣，经常乘机，是最理想的客户类型。公司应优先将资源投放到他们身上，维持这类客户的忠诚度。
  重要发展客户	平均折扣率高(C↑)，最近有乘机记录(R↓)，乘机次数低(F↓)或里程低(M↓) 这类客户机票票价高，不在意机票折扣，最近有乘机记录，但总里程低，具有很大的发展潜力。公司应加强这类客户的满意度，使他们逐渐成为忠诚客户。
  重要挽留客户	平均折扣率高(C↑)，乘机次数高(F↑)或里程高(M↑)，最近无乘机记录(R↑) 这类客户总里程高，但较长时间没有乘机，可能处于流失状态。公司应加强与这类客户的互动，召回用户，延长客户的生命周期。
  一般客户	平均折扣率低(C↓)，最近无乘机记录(R↑)，乘机次数高(F↓)或里程高(M↓)，入会时间短(L↓) 这类客户机票票价低，经常买折扣机票，最近无乘机记录，可能是趁着折扣而选择购买，对品牌无忠诚度。公司需要在资源支持的情况下强化对这类客户的联系。
  低价值客户	平均折扣率低（C↓），最近无乘机记录（R↑），乘机次数高（F↓）或里程高（M↓），入会时间短（L↓）这类客户与一般客户类似，机票票价低，经常买折扣机票，最近无乘机记录，可能是趁着折扣而选择购买，对品牌无忠诚度。

  完整代码：

  import pandas as pdimport numpy as npimport matplotlib.pyplot as pltfrom sklearn.cluster import KMeansfrom sklearn.metrics import calinski_harabasz_scorefrom sklearn.preprocessing import StandardScaler#%%# 读取原始数据data = pd.read_csv('air_data.csv')# 清洗数据# 将票价为空值的数据删除data = data[~data['SUM_YR_1'].isnull() & ~data['SUM_YR_2'].isnull()]# 将票价为0或折扣率为0但总飞行千米数大于0的记录删除data = data[~((data['avg_discount'] == 0) & (data['SEG_KM_SUM'] > 0))]# 将SUM_YR_1和SUM_YR_2同时为0的记录删除data = data[~((data['SUM_YR_1'] == 0) & (data['SUM_YR_2'] == 0))]#%%# 假设你的数据框称为 df，包含了原始数据和对应的特征字段df = data# 计算 LRFMC 模型对应的特征df['L'] = (pd.to_datetime(df['LOAD_TIME']) - pd.to_datetime(df['FFP_DATE'])).dt.daysdf['R'] = df['LAST_TO_END']df['F'] = df['FLIGHT_COUNT']df['M'] = df['SEG_KM_SUM']df['C'] = df['avg_discount']#%%# 创建一个标准化器scaler = StandardScaler()# 假设你的数据框称为 df，包含了需要标准化的特征字段features_to_scale = ['L', 'R', 'F', 'M', 'C']# 对选择的特征进行均值方差标准化df[features_to_scale] = scaler.fit_transform(df[features_to_scale])#%%# 创建DataFramedf2 = pd.DataFrame()df2['L']=df['L']df2['R']=df['R'] df2['F']=df['F'] df2['M']=df['M'] df2['C']=df['C']#%%# 标准化数据scaler = StandardScaler()scaled_features = scaler.fit_transform(df2)df_scaled = pd.DataFrame(scaled_features, columns=df2.columns)#%%# 创建一个空列表用于存放不同聚类数对应的评分scores = []# 设置循环，尝试不同的聚类个数for n_clusters in range(2, 15):    # 创建并训练Kmeans模型    kmeans = KMeans(n_clusters=n_clusters, random_state=42)    kmeans.fit(df_scaled)    # 使用calinski_harabasz_score方法对模型进行评分    score = calinski_harabasz_score(df_scaled, kmeans.labels_)    scores.append(score)# 打印各个聚类数对应的评分for n_clusters, score in zip(range(2, 15), scores):    print(f"Number of clusters: {n_clusters}, Calinski-Harabasz score: {score}")#%%# 可视化不同聚类数对应的评分plt.figure(figsize=(10, 6))plt.plot(range(2, 15), scores, marker='o')plt.title('Calinski-Harabasz Score for Different Number of Clusters')plt.xlabel('Number of clusters')plt.ylabel('Calinski-Harabasz Score')plt.show()#%%# 创建并训练最终的KMeans模型final_kmeans = KMeans(n_clusters=4, random_state=42)final_kmeans.fit(df_scaled)# 将每个样本分配到对应的簇中cluster_labels = final_kmeans.predict(df_scaled)# 将簇标签添加到原始数据中df2['cluster'] = cluster_labels# 查看每个簇中样本的数量cluster_counts = df2['cluster'].value_counts()print(cluster_counts)#%%# 计算每个簇的平均特征值cluster_means = df2.groupby('cluster').mean()# 每个簇的特征名称features = cluster_means.columns.tolist()# 将第一个特征复制到列表末尾，以闭合雷达图features.append(features[0])# 绘制雷达图plt.figure(figsize=(10, 8))for cluster in range(4):    values = cluster_means.iloc[cluster].values.tolist()    values.append(values[0])    angles = np.linspace(0, 2 * np.pi, len(features), endpoint=False).tolist()    ax = plt.subplot(2, 2, cluster+1, polar=True)    ax.fill(angles, values, 'b', alpha=0.1)    ax.plot(angles, values, linewidth=1.5, linestyle='solid', label=f'Cluster {cluster}')    ax.fill(angles, values, alpha=0.25)    ax.set_yticklabels([])    ax.set_thetagrids(np.degrees(angles), labels=features)    ax.set_title(f'Cluster {cluster}')plt.show()#%%plt.figure(figsize=(10, 8))# 创建一个极坐标子图ax = plt.subplot(111, polar=True)for cluster in range(4):    values = cluster_means.iloc[cluster].values.tolist()    values.append(values[0])    angles = np.linspace(0, 2 * np.pi, len(features), endpoint=False).tolist()     # 绘制雷达图    ax.fill(angles, values, alpha=0.1)    ax.plot(angles, values, linewidth=1.5, linestyle='solid', label=f'Cluster {cluster}')    ax.fill(angles, values, alpha=0.25)# 隐藏雷达图的刻度和标签ax.set_yticklabels([])ax.set_thetagrids(np.degrees(angles), labels=features)# 添加图例plt.legend(loc='upper right')plt.show()#%%