利⽤pytorch_pretrained_bert得到wordEmbedding（batc。。。
1.注意本⽅法只适⽤于保存2维embedding
因为直接将完整的Bert加⼊到其他模型中，训练时会出现内存不够⽤的情况，考虑将通过Bert得到的Embedding保存为⽂件，再在其他模型中导⼊使⽤，试过很多保存的⽅法(numpy.savetxt等)，都不成功，最后采⽤稀疏矩阵spar.dok_matrix的⽅式保存wordEmbdedding，然后利⽤toarray()⽅法转换为矩阵形式，发现这是⼀个不错的⽅法。
2.使⽤pytorch_pretrained_bert得到embedding的简单流程
//st为⼀⾏⽂本，多⾏⽂本加个for循环即可
from pytorch_pretrained_bert import BertTokenizer,BertModel
test_input_ids=[]
tokenizer = BertTokenizer.from_pretrained('bert-large-uncad', do_lower_ca=True)
text = kenize(st)
text_vert_tokens_to_ids(text)
test_input_ids.append(text_id)
model=BertModel.from_pretrained('bert-large-uncad')
Input_ids = sor(test_input_ids).view(1,len(test_input_ids[i]))
//pooled_output即为embedding=[1，分词长度,1024]
all_encoder_layers, pooled_output = model(Input_ids)
//然后将pooled_output降维成[分词长度,1024]，再按⾏累加得到⼀个embedding=[1,1024]
//传⼊多⾏⽂本，即得到embedding=[batch_size,1024]
3.保存Bert得到的Embedding
import scipy.spar as spar
//注意通过Bert之后得到Embedding我处理成了(batch_size,1024)的形式
/
/每⼀⾏代表⼀个⽂档向量
//embedding是⼀个(batch_size,1024)的list
spar_raw_matrix = spar.dok_matrix((batch_size,1024))
for i in range(0,batch_size):
for j in range(1024):
spar_raw_matrix[i,j]=embedding[i][j]
spar.save_npz('embedding.npz', spar_sr())
4.导⼊Embedding
import scipy
from scipy import spar
test=scipy.spar.load_npz('embedding.npz')
array()
