ディープラーニング用語ドリルディープラーニングの応用・自然言語処理No.170 / 293
word2vec
単語の分散表現を学ぶ方法。周りの単語から中心の単語を当てる CBOW と、中心の単語から周りを当てるスキップグラムがある。
確認問題
次の説明に当てはまる用語はどれか。
Transformer のエンコーダを使い、文の前後の両方の文脈から学ぶ言語モデル。隠した単語を当てる学習などで事前学習する。
ディープラーニングの応用・自然言語処理No.170 / 293
単語の分散表現を学ぶ方法。周りの単語から中心の単語を当てる CBOW と、中心の単語から周りを当てるスキップグラムがある。
次の説明に当てはまる用語はどれか。
Transformer のエンコーダを使い、文の前後の両方の文脈から学ぶ言語モデル。隠した単語を当てる学習などで事前学習する。