トピ主さんの状況が正確にはわからないので、間違ったことをいってしまうかもしれないですが。
トピ主さんの方からフォローをした際に、フォロー返しはくるのでしょうか？
もし、それなりにフォロー返ししてもらえる(ほとんどフォロー返ししてもらえない。もしくは、ある一定の界隈にほとんどフォロー返しされないなど特徴的な傾向がない)場合は、界隈に嫌われているということはないと思います。
その他、フォローしている人が突然距離をおくようになるということもないのでしょうか。
私が現在そのような状況なのですが、晒しなどがあると、それを見て信じる人と見ていない人で大きく対応が変わってくるので、特定の層に極端に嫌われ、それ以外の層には普通に接してもらえる状況になると思います
トピ主さんのお話を拝見した限りだと、晒しなどの極端な嫌われ方はしてないのかなと思います。
ただ、最初に前置きした通り正確な状況がわからないため、確実なことは言えなくて、申し訳ないのですが。

繋がりたいタグは、同担拒否などの条件がかかれていると、私としては気難しい方なのかなと思って反応し辛くなることもあります。
繋がってもそれで良いフォロワーに出会えるとも限らないので、あまりあてにしない方が良いと思います。
また、トピ主さんは、好みのタイプの人がこれと決まっているかたのようなので、なかなかフォロワーが増えなくても焦らず、この人と繋がりたいと思った人と繋がっていった方が、楽しいツイッターになるのではないかと感じました。