新闻单标签多分类

from keras.datasets import reuters

import numpy as np

训练数据,训练标签,测试数据,测试标签,8982个训练样本,2246个测试样本

# 这个是新闻单标签多分类问题,就是每个样本会被贴上一个标签,如果是贴多个,就是多标签多分类

# start_char=1,进入新的一篇新闻的标志, oov_char=2,只映射最常用的1万字,超出范围的映射2,

#index_from=3,真正有意义的单词是从索引3开始的,46个类别

(train_data,train_label),(test_data,test_lable)=reuters.load_data(num_words=10000)

#单词对应数字的字典

w_inx=reuters.get_word_index()

#新字典,数字对应单词

# rsw_inx={val:key for (key,val) in w_inx.items()}

rsw_inx=dict([(val,key) for (key,val) in w_inx.items()])

#为啥索引-3,因为它的0,1,2索引是'padding,start of sequence,unknown',

# 翻译成白话就是如果电脑读到1,她就知道这是一篇新的新闻,读到2,就知道这个单词不在1万个常用字之内

#单词和单词之间有空格,应该就是padding,根据数字映射单词,前两个单词应该是人名,不在1万常用字里面

decoded_newswire=''.join([rsw_inx.get(i-3,'?') for i in train_data[0][:20]])

def vect_sequences(seqs,dimension=10000):

    #初始化行为新闻样本数,列为常用的1万个单词

    # 如果是训练数据,形状是(8982,10000),默认元素是0

    res=np.zeros(shape=(len(seqs),dimension))

#     print(enumerate(seqs))

    #遍历所有新闻样本

    #seq是遍历的每一个新闻样本,现在脑子中一定要把新闻

    #这个东西当成一个数字列表,程序员就是翻译家,我们

    #在处理实际问题时要抽象化为数字,这样电脑看起来是很爽的

    # 在给人看的时候是把抽象的数字具体化了,这个方法得作用

    # 就是让电脑知道,一篇新闻里都出现了哪些字

    # 不同的新闻出现的字是不一样的,而我们给的答案(标签)

    # 不一样,这样电脑就会根据输入x,输出y来拟合f,拟合的好坏

    # 是比较真实答案和预测答案的误差,越大越糟糕

    for i,seq in enumerate(seqs):

#         print(len(seq),[rwindex.get(i) for i in seq])

#         print(i,seq)

        # 当前新闻里有某个单词,那这个单词对应的数字列会被赋值1

        #当前新闻没出现的字符是0,1代表Ture

        res[i,seq]=1

    return res

#训练集8982个样本,10000代表10000个常用单词

#一行代表一条新闻

x_train=vect_sequences(train_data)

x_test=vect_sequences(test_data)

display(x_train.shape)

a=rsw_inx.get(1)

b=''.join([rsw_inx.get(i-3,'?') for i in train_data[0]])

display(a,b)

from keras.utils import to_categorical

one_hot_train_labels=to_categorical(train_label)

one_hot_test_labels=to_categorical(test_lable)

from keras import models

from keras import layers

model=models.Sequential()

#128个神经元,隐层一,激活函数relu,10000,单个新闻样本的特征列

# 如果这一列是1,代表出现了某个单词,0,代表没出现这个单词

model.add(layers.Dense(128,activation='relu',input_shape=(10000,)))

#128个神经元,隐层二,激活函数relu

model.add(layers.Dense(128,activation='relu'))

#46分类,所以是46个神经元,softmax处理多分类,经过softmax函数作用后

# 使得某个新闻属于这46类中每个的概率总和等于1

model.add(layers.Dense(46,activation='softmax'))

model.summary()# (10000+1)*128,(128+1)*128,(128+1)*46

# 参数:优化器,rmsprop一阶导,之后做个调和平均放在分母位置,loss多元分类交叉,accuracy看它预估的正确率

#分类问题,不要用mse平方差公式,因为梯度太平坦,要用logi回归的交叉乘

model.compile(optimizer='RMSProp',loss='categorical_crossentropy',metrics=['acc'])

#如果对train(test)_label没做one_hot_encode,可以这样写sparse_categorical_crossentropy

model.compile(optimizer='RMSProp',loss='sparse_categorical_crossentropy',metrics=['acc'])

#验证集,索引0-999,对y先做one_hot_encode编码

#之后再切片,不然会很麻烦

yzj_x=x_train[:1000]

yzj_y=one_hot_train_labels[:1000]

#测试集

csj_x=x_train[1000:]

csj_y=one_hot_train_labels[1000:]

#validation_data验证和测试一起

history=model.fit(csj_x,csj_y,epochs=20,batch_size=512,validation_data=(yzj_x,yzj_y))

import matplotlib.pyplot as plt

#过拟合,太想拟合训练资料,所以在拟合新资料时就有很大偏差

xl_loss=history.history['loss']

xl_zql=history.history['acc']

yz_loss=history.history['val_loss']

yz_zql=history.history['val_acc']

epochs=range(1,1+len(xl_loss))

plt.figure(figsize=(20,9))

plt.rcParams['font.size']=18

ax1=plt.subplot(121)

ax1.plot(epochs,xl_loss,'b',label='xl_loss')

ax1.plot(epochs,yz_loss,'bo',label='yz_loss')

ax1.set_xlabel('epochs')

ax1.set_ylabel('loss')

plt.legend()

plt.title('xl_loss, yz_loss')

ax2=plt.subplot(122)

ax2.plot(epochs,xl_zql,'r',label='xl_zql')

ax2.plot(epochs,yz_zql,'ro',label='yz_zql')

plt.title('xl_zql,yz_zql')

plt.legend()

plt.show()

np.argmin(yz_loss)# 索引5,就是第6次val_loss最小

# 根据上面的训练验证,可以看到第6次迭代,val_loss最小,这次拿

#所有训练数据来跑

model=models.Sequential()

#128个神经元,隐层一,激活函数relu,10000,单个新闻样本的特征列

# 如果这一列是1,代表出现了某个单词,0,代表没出现这个单词

model.add(layers.Dense(128,activation='relu',input_shape=(10000,)))

#128个神经元,隐层二,激活函数relu

model.add(layers.Dense(128,activation='relu'))

#46分类,所以是46个神经元,softmax处理多分类,经过softmax函数作用后

# 使得某个新闻属于这46类中每个的概率总和等于1

model.add(layers.Dense(46,activation='softmax'))

model.compile(optimizer='RMSProp',loss='categorical_crossentropy',metrics=['acc'])

model.fit(x_train,one_hot_train_labels,epochs=6,batch_size=512)

#评估,results返回损失和准确率

results=model.evaluate(x_test,one_hot_test_labels)

#会获得模型对某条新闻属于那一类的概率

#最后一层46个神经元每个预估的概率,总和肯定是1

np.set_printoptions(suppress=True)

pre=model.predict(x_test)

print(np.sum(pre[0]),np.argmax(pre[0]))

np.set_printoptions(suppress=True)

#模型预测的类别

pre_class=np.array([np.argmax(i) for i in pre])

pre_class

#真实类别

test_lable

import pandas as pd

#交叉表

pd.crosstab(index=test_lable,columns=pre_class,rownames=['True_Label'],colnames=['predict_label'])

from sklearn.metrics import classification_report

# 准确率,召回率 support提供的样本,样本资料少,电脑也不知道怎么分

#准确率是电脑预估是几,真的是几的概率

#召回率是真的是几,电脑预估是几的概率

print(classification_report(test_lable,pre_class))

test_copy=test_lable.copy()

display(test_copy[:5])

#随机瞎蒙

np.random.shuffle(test_copy)

display(test_copy[:5])

np.sum(test_copy==test_lable)/len(test_lable)

arr=np.arange(18)

display(arr)

np.random.shuffle(arr)

display(arr)

# 如果不是特别原因,不要某一层神经元突然大幅度减少,会降低验证准确率,降到0.7680

# 之前0.8多

model2=models.Sequential()

#128个神经元,隐层一,激活函数relu,10000,单个新闻样本的特征列

# 如果这一列是1,代表出现了某个单词,0,代表没出现这个单词

model2.add(layers.Dense(128,activation='relu',input_shape=(10000,)))

#10个神经元,隐层二,激活函数relu

model2.add(layers.Dense(10,activation='relu'))

#46分类,所以是46个神经元,softmax处理多分类,经过softmax函数作用后

# 使得某个新闻属于这46类中每个的概率总和等于1

model2.add(layers.Dense(46,activation='softmax'))

model2.compile(optimizer='RMSProp',loss='categorical_crossentropy',metrics=['acc'])

model2.fit(csj_x,csj_y,epochs=20,batch_size=256,validation_data=(yzj_x,yzj_y))

#评估,results返回损失和准确率

results=model2.evaluate(x_test,one_hot_test_labels)