深度学习-Embedding（词嵌⼊）
不会接受原始⽂本数据作为输⼊，它只能处理数值张量。因此需要⽂本向量化
⽂本向量化。
深度学习模型不会接受原始⽂本数据
⽂本向量化是指将原始⽂本转化为数值张量的过程，有多种实现⽅式：
⽂本向量化
1.将⽂本分割为单词，并将每个单词转化为⼀个向量
2. 将⽂本分割为字符，并将每个字符转化为⼀个向量
3. 提取单词或字符的n-gram(多个连续的单词或字符)，将每个n-gram转化为⼀个向量。
将⽂本分割后的单词/字符/n-gram称为token，将tokens转化为向量有两种⽅法:
<-hot 编码
<-hot 编码
2.Embedding（通常只⽤于单词，叫作词嵌⼊（word embedding）)
2.Embedding（通常只⽤于单词，叫作词嵌⼊（word embedding）)
⼀. one-hot
import tensorflow as tf
from tensorflow import keras
from tensorflow. import Tokenizer
samples=['The cat is very cute.','The girl is so beautiful.'] tokenizer=Tokenizer(num_words=1000)#创建⼀个分词器，只保留前1000个最常见的单词 tokenizer.fit_on_texts(samples)#构建单词索引
s_to_quences(samples)#将字符串转换为单词的整数索引组成的列表
one_hot_s_to_matrix(samples,mode='binary')
word_index=tokenizer.word_index#单词索引
print(quence):
print(one_hot_results):
print(word_index):
One-hot存在的问题：
1.维度爆炸
2.⽆法捕捉词之间的语义关系
对于第⼀个问题，可以使⽤one-hot散列技巧来缓解，也就是对word做hash。问题是会存在冲突。
import numpy as np
#将单词保存为长度为1000 的向量。如果单词数量接近1000 个（或更多），那么会遇到很多散列冲突，这会降低这种编码⽅法的准确性
dimensionality=1000
max_length=10
s((len(samples),max_length,dimensionality))
for i,sample in enumerate(samples):
for j,word in list(enumerate(sample.split()))[:max_length]:
index=abs(hash(word))%dimensionality
results[i][j][index]=1
⼆. Embedding词嵌⼊
词嵌⼊是从数据中学习得到的。常见的词向量维度是256、512 或1024（处理⾮常⼤的词表时）。
与此相对，onehot编码的词向量维度通常为20 000 或更⾼（对应包含20 000 个标记的词表）。因此，词向量可以将更多的信息塞⼊更低的维度中。
词向量之间的⼏何关系应该表⽰这些词之间的语义关系。词嵌⼊的作⽤应该是将⼈类的语⾔映射到⼏何空间中。
获取词嵌⼊主要有两种⽅法：
1.在完成主任务（⽂本分类/情感预测）的同时学习词嵌⼊。
在这种情况下，词嵌⼊⼀开始是随机值，在训练的过程中对词嵌⼊进⾏学习。学习⽅式与神经⽹络中的权重相同。
2.在不同于待解决问题的机器学习任务中计算好词嵌⼊，将其直接加载进模型中。这些词嵌⼊叫做预训练词嵌⼊。
Embedding层来⽣成词向量
在Tensorflow中，可以通过Embedding
Embedding层⾄少需要两个参数：(1)token的个数（最⼤单词索引+1）(2)嵌⼊的维度
如：embedding_layer=keras.layers.Embedding(1000,64)
可以将Embedding层看作⼀个字典：将整数索引（表⽰指定单词）映射为稠密向量。
它接受整数作为输⼊，并在内部字典中查找这些整数，然后返回相关联的向量。
单词索引->Embedding层->对应的词向量
（samples,quence_length）, 其中每个元素是⼀个整数序列。
出租车的英文Embedding层的输⼊是⼀个⼆维整数张量，其形状为（samples,quence_length）,
相同的长度（因为需要将它们打包成⼀个张量），所以较短的序列应该⽤0填充，较长的序列应该被截断。
较短的序列应该⽤0填充，较长的序列应该被截断。
序列必须具有相同的长度
回⼀个形状为(samples, quence_length, embedding_dimensionality) 的三维浮点数张量。然后可以⽤RNN 层Embedding 层返回⼀个形状为(samples, quence_length, embedding_dimensionality)
或⼀维卷积层来处理这个三维张量。
利⽤反向传播来逐渐调
随机的。与其他层⼀样，在训练过程中，利⽤反向传播来逐渐调将⼀个Embedding 层实例化时，它的权重（即标记向量的内部字典）最开始是随机
节这些词向量，改变空间结构以便下游模型可以利⽤。
节这些词向量
代码⽰例：使⽤keras⾃带的imdb数据集
羊肉冲汤
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras.datats import imdb
max_feature=1000 #每条⽂本只保留最常见的1000个词
max_len=20 #每条⽂本单词个数最多为20
(x_train,y_train),(x_test,t_test)=imdb.load_data(num_words=max_feature)
#将整数列表转换成形状为(samples,maxlen) 的⼆维整数张量
x_train=keras.preprocessing.quence.pad_quences(x_train,max_len)
x_test=keras.preprocessing.quence.pad_quences(x_test,max_len)
构建模型：
少儿爵士舞视频dimonsion=8
dels.Sequential()
# Embedding 层激活的形状为(samples, maxlen, 8)
model.add(keras.layers.Embedding(max_feature,dimonsion,input_length=max_len)) # 将三维的嵌⼊张量展平成形状为(samples, maxlen * 8) 的⼆维张量
model.add(keras.layers.Flatten())
model.add(keras.layers.Den(1,activation='sigmoid'))
history=model.fit(x_train,y_train,epochs=10,batch_size=32,validation_split=0.2)
上述在训练模型的过程中，同时训练词向量。若想使⽤预训练的词向量：
加载数据集：使⽤原始imdb数据集(即英⽂语句序列）春深似海什么意思
import pandas as pd
ad_csv("D://data/imdb/train.csv",p="\t",header=None)
train.head()
label=train.label
#对⽂本数据进⾏分词，使⽤预训练的词向量
祝福选自from tensorflow. import Tokenizer
from tensorflow.keras.preprocessing.quence import pad_quences max_len=100
max_words=1000
tokenizer=Tokenizer(num_words=max_words)
tokenizer.fit_on_texts(text)
s_to_quences(text)
word_index=tokenizer.word_index
print('found %s unique tokens'% len(word_index))
痛风要吃什么data=pad_quences(quence,max_len)
print(data[:2])
打乱训练数据并将其划分为训练集，验证集：
实现英语import numpy as np
indices=np.arange(data.shape[0])
np.random.shuffle(indices)
data=data[indices]
label=label[indices]
x_val=data[:5000]
y_val=label[:5000]
x_train=data[5000:]
y_train=label[5000:]
尺组词
