word2vec 究竟学到了什么：学习过程可归结为 PCA 的理论证明

加州大学伯克利分校研究团队首次为 word2vec 提供了定量预测理论，证明在现实训练条件下其学习问题可简化为无权重最小二乘矩阵分解，最终表示由 PCA 给出。训练中嵌入向量按离散步骤逐次学习正交概念，每个概念对应可解释的主题特征，理论预测与数值实验高度吻合。