VisionTransformer

先日書き残しましたが、LSM 作成に transformer が利用されていました。
https://phreeqc.blogspot.com/2024/11/landslide-susceptibility-map-using-ml-5.html

transformer を利用したいと思っていたのですが、実務では画像分類での ViT を先に触りました。結果は他のアーキテクチャを抑え Best Score。また一つ、外せない選択肢が増えました。

先月、ViT の図書が発売されました。おそらく、国内では2冊目でしょう。先の本もわかりやすいのですが、こちらも good。変化するテンソルの大きさが良くわかります。CNN同様に、これから解説本が増えていくかもしれません。

「Vision Transformer／最新CNNアーキテクチャ 画像分類入門 」

図書には transformer 以降に提案されたネットワークアーキテクチャがいくつか整理されています。2020年末から２～3年で多くのネットワークが提案されているのは、CNNの頃と変わらないでしょうか。

CNN とのハイブリッド手法については、まだ触れる機会がありません。遅れないようについていきましょう。