为什么用DeVise 而不是直接word embedding抓pineapple和plant关系



  • 比如用skip gram或者CBOW,这两者关系至少比和glass,pineapple之间关系大啊,用http://bionlp-www.utu.fi/wv_demo/测试,pineapple和plant相似度0.35, 和Glass相似度0.18,就是说只是做text已经足够判断pineapple和哪个相似度高,DeVise的优势在哪里呢?



  • DeVise的優勢在於co-train (a) image and (b) label 的 embeddings.
    特別用於label 彼此間有關係的 case.
    E.g., pineapple 跟 plant 比較有關係, 跟 university (只是個例子) 比較沒關係.
    換句話說, DeVise 告訴 model 這張 pineapple 圖判定成 plant的錯誤會比判定成 university的錯誤小.


登录后回复
 

与 BitTiger Community 的连接断开,我们正在尝试重连,请耐心等待