DL的embedding和manifold learning的降维有什么区别?



  • DL的embedding所能够达到的降维,是老师讲了很多次的非常有用的应用。

    另一类非常有用的non-linear的降维方法,是manifold learning。这类方法一般也是找到data的intrinsic geometric strucuture, 从而找到data本身所在的那个low-dimensional embedding space. 这个听起来跟DL的embedding听起来很像啊,这两者的区别到底是什么呢?

    能不能从intuitive的方式解释一下,要能有个简单的例子就最好了。这个问题困惑很久了。。。。

    谢谢老师同学们!



  • 顶一下,求老师回复。。。



  • 通常 manifold learning 是 unsupervised 的 (譬如說 kernel PCA) - 也就是從原本的 high dimensional data, 提取新的 low-dimension representation.

    而 embedding learned from DNN 是 supervised 的. 也就是說, 隨著label選取意思的不同, model會學到不一樣的 embedding.



  • @DoctorGiant 可是auto-encoders不是啊,也是non-linear的,那么它和其它manifold learning的主要区别和intuition不同在哪呢?



  • 也許換個角度想: NeuralNet是透過調整 network structure 來選擇不一樣的function for extracting non-linear embeddings. 不容易 (或無法) 寫出closed functional form.

    其他manifold learning的方法都是透過定義functional form (e.g., kernel PCA) 來 extract embeddings.



  • 原来是这样!谢谢老师!


登录后回复
 

与 BitTiger Community 的连接断开,我们正在尝试重连,请耐心等待