特に気にしませんし、その人の自由だと思います。
私はそのフォロワーさんの方がめんどくさくてやだなあという印象です。

お祭りのときに地元に帰る感覚でしょうか。
わたしは全く気にしないし、お祭りは人が多い方が盛り上がるので大歓迎です！

わたしは正直フォロワーさんの気持ちわかります。
私の場合ですが、そういう人に明らかな砂かけをされたり、移動先で「前ジャンルはこういうとこが嫌で…」みたいツイを見たりで移っていったひとにいい印象をもってないからです。なのでそのフォロワーさんにもトピ主さんが知らないなにかがあったのかもしれません。陰口になるので表立っては言いませんが。

久しぶりに都会から帰省した人間に｢やっぱりこっちはいいねー｣って言われると｢なら戻ってくれば？(そんな気は微塵もないって知ってるけど)｣って思ってしまうのと同じ感じですかね。私はその感覚わかります。
故郷にあたる場所が栄えていればいいんですけど、どんどん人がいなくなって衰退していっていると……
結局ジャンルを離れた人って他のものを優先しているわけですから、なんというか｢ジャンル外の人｣になってしまっているんですよね。共同体の外の人なのでもう今は観光客と同じ扱い、それなのに地元民と同じ温度で何かを話すことをよく思わない人はいると思います。女性向けジャンルだとよりその傾向は出やすいかもしれませんね。