私も同じ状況です。
最近では相互にすら無視されるし、イベントでもほぼほぼ無視。遊ぶ約束もすっぽかされるし、繋がりたいタグでも自分だけ無視。描いた絵も全然RTもいいねもされません。
なので、Twitterをやめました。だって誰も見てくれないんだから、もうpixivでいいや、と。
寂しいなと思ったら、しまづくりというアプリをするといいですよ。呟くだけです。

自分の良さは自分にしかわからない、そういう考えでもいいんじゃないでしょうか。だって、一回嫌われたら何をしても好かれることはないんですもん。

SNSは良くも悪くも、作品だけでなく作家の人間性も見られてしまう場です。
なので、付き合いの長いほど、イラストなどの作品を純粋な評価ではなく、その作家性で評価されることもしばしばです。
作品だけ投稿するスタイルに変えるか、pixivなどのより作品のみに特化したSNSの方がトピ主様の性分には合っているのかも…？

トピ主さんの状況が正確にはわからないので、間違ったことをいってしまうかもしれないですが。
トピ主さんの方からフォローをした際に、フォロー返しはくるのでしょうか？
もし、それなりにフォロー返ししてもらえる(ほとんどフォロー返ししてもらえない。もしくは、ある一定の界隈にほとんどフォロー返しされないなど特徴的な傾向がない)場合は、界隈に嫌われているということはないと思います。
その他、フォローしている人が突然距離をおくようになるということもないのでしょうか。
私が現在そのような状況なのですが、晒しなどがあると、それを見て信じる人と見ていない人で大きく対応が変わってくるので、特定の層に極端に嫌われ、それ以外の層には普通に接してもらえる状況になると思います
トピ主さんのお話を拝見した限りだと、晒しなどの極端な嫌われ方はしてないのかなと思います。
ただ、最初に前置きした通り正確な状況がわからないため、確実なことは言えなくて、申し訳ないのですが。

繋がりたいタグは、同担拒否などの条件がかかれていると、私としては気難しい方なのかなと思って反応し辛くなることもあります。
繋がってもそれで良いフォロワーに出会えるとも限らないので、あまりあてにしない方が良いと思います。
また、トピ主さんは、好みのタイプの人がこれと決まっているかたのようなので、なかなかフォロワーが増えなくても焦らず、この人と繋がりたいと思った人と繋がっていった方が、楽しいツイッターになるのではないかと感じました。