行业知识
【Python】科研代码学习:六 ModelOutput,SpecificModel
【Python】科研代码学习:六 ModelOutput,SpecificModel
- Model Outputs
- ModelOutput
- BaseModelOutput
- CausalLMOutput
- 其他 ModelOutput
- SpecificModel
Model Outputs
ModelOutput
- HF官网API:ModelOutput
所有模型的输出都是 ModelOutput 的子类的实例
(All models have outputs that are instances of subclasses of ModelOutput)
了解 ModelOutput与其子类,我们就可以获得许多有用的输出参数
- 先来看如何获取模型的输出的一个例子:
我们加载 tokenizer, model,获取输入和标签后,model(xxx) 的返回结果就是 outputs 了
from transformers import BertTokenizer, BertForSequenceClassificationimport torchtokenizer = BertTokenizer.from_pretrained("google-bert/bert-base-uncased")model = BertForSequenceClassification.from_pretrained("google-bert/bert-base-uncased")inputs = tokenizer("Hello, my dog is cute", return_tensors="pt")labels = torch.tensor([1]).unsqueeze(0) # Batch size 1outputs = model(**inputs, labels=labels)- 看一下源码:
首先,它头文件在 transformers.utils.ModelOutput
其次,它继承自 OrderedDict,且重载了 __getitem__,可以通过字符串 / 下标索引
可以使用 to_tuple() 获取转成tuple类型
※ 另外需要注意的是,传参output_hidden_states=True 以及 output_attentions=True 等,我们才能从 outputs 中获取到更多的参数信息
BaseModelOutput
- 上面的 ModelOutput 只是定义了基础的格式和转换,接下来这个
BaseModelOutput 则是继承自上面的类,并且可以获得更多参数信息
- 可以看到,它存储了如下参数:
last_hidden_state:最终隐藏层状态的张量值
hidden_states:每一层的状态的张量值
attentions:每一层的注意力的张量值
CausalLMOutput
- 这个比较常用,是专门对因果LM输出用的
它还提供了 loss 损失
logits:LM头的预测分数,在CausalLM中即为在词汇表vocab中,下一个token的预测分数,并且未经过最后softmax归一之前的分数。
其他 ModelOutput
- 其他还有很多,主要是关注
1)用的是 pt 还是 tf 还是 flax
2)用的是哪个具体任务
3)主要还是得对应哪个具体的 PretrainedModel
- 比如 BaseModelOutputWithCrossAttentions 就用了交叉注意力的 PretrainedModel
Seq2SeqModelOutput 给 s2s 模型的
MaskedLMOutput 给 maskedLM的
NextSentencePredictorOutput 给 NSP 任务的
MultipleChoiceModelOutput 给多选任务的…
你会发现,具体是哪一类,取决于你当时是用哪个 PretrainedModel
所以你需要查询具体我可以获得什么输出之前,就去看预训练模型的那个类型吧。
SpecificModel
- 之前讲过 PretrainedModel 是预训练模型的基类
AutoModel 可以自动根据输入的参数,选择最合适的模型
AutoModelForCausalLM,可以自动根据输入的参数,选择最合适的因果LM模型
那问题来了,很多代码中貌似没有使用 AutoModel 呀,他们的导入头文件是从哪里来的呢?
其实从 HF官网的Doc的最左下角找的:
首先进入 Docs,找到 Transformers 库的 API,然后选择合适的版本号,用英文,左侧滚到底,就可以找到了
- 我这里是NLP任务,所以选择大类 TEXT MODELS
这里举一些常用的模型吧:
ALBERT, BART, BERT, BLOOM, GPT, GPT2, LLaMA, Llama2, REALM, RoBERTa, T5 ……
我这里以 Llama2 为例子吧
- 步骤一:查看基本信息
比如,llama的模型需要你去官网注册一下,它才会发给你。另外它还告诉你了,原始模型没有 pad token, 要添加的话怎么加
- 步骤二:查看怎么导入 model 和 tokenizer
你就会发现,它通过它特殊的类加载了,这里是 LlamaForCausalLM, LlamaTokenizer 了
- 步骤三:查看对应的 config, tokenizer, model 的改动
由于不是原始的 PretrainedConfig, PretrainedTokenizer, PretrainedModel 嘛,它肯定自己加了些东西
你就进去浏览看下改动即可
比如 LlamaConfig 中,有如下参数,比较多,还是建议看文档,自己背出来的话也太大佬了
- 它这里 model 有三个,主要还是看你需要用它来做什么任务,就选择哪个即可。
- 之前讲过 PretrainedModel 是预训练模型的基类
- 其他还有很多,主要是关注
- 这个比较常用,是专门对因果LM输出用的
- 上面的 ModelOutput 只是定义了基础的格式和转换,接下来这个
- 看一下源码:
- HF官网API:ModelOutput
上一篇:cago服务器怎么样?
下一篇:游戏服务器怎么赚钱吗?