> はっきりとあなたの作品が好きじゃないのでフォローしませんと言って欲しい
言葉の綾なのかなとは思いますが、それを他人に求めるのはけっこう大変かなと思いますね…
日常生活でもですが、同人は特に「好みじゃないものは言及しないで距離を置く」という考え方が大前提です。
立場を変えて、トピ主さんがあまり作風が好きじゃない作家さんに向かって直接そう言えるか？と想像するとなんとなくハードルの高さが分かるかなと思います…
そういう要望をプロフィール欄に書いてみますか？でも…もし実際そんなことを書いてある人がいたら、自分だったらびっくりして余計避けてしまうと思いますのでやめたほうがいいでしょう。

逆に言うと、トピ主さんは今それだけ気持ちが内向きになってしまっているのだと思いますし、それだけ寂しさや疎外感で一杯になってしまっている、とてもお辛い状況なのだろうとお察しします。

状況は違うと思いますが、自分も他人の数字が気になって気になって集中できない時期がたまにあります。タイミングや、周囲の状況などなどに依るのだと思いますが…
商業の実力派の作家さんでも「他人の数字が見えるのが創作意欲にマイナスなのでツールを使って見えないようにしている」と言っている人を見たことがあるので、多くの人にとってやはり数字を比較してしまうのは鬼門なんだと思います。

トピ主さんの実力とかそういうことではなくて、たまたまその界隈に集まってる人の好みが偏っていたりってことはあると思います。あと繋がりタグは頻繁にやりすぎると圧を感じて逆効果なこともあるので、少し頻度を下げてもいいかもしれませんね。
今トピ主さんは判断基準が完全に他者寄りになってしまっていると思うので、難しいかもしれませんがそこから少し離れて、ご自分が最高に萌えられる、没頭できる作品を作るのが遠いようで近道なのかなと思います…
参考にならずすみません、あまり思いつめず、辛かったら少し距離をおいても良いと思いますよ。

過去に自分自身が同じような状態になったり、逆に自分や周りが特定の方だけフォローをしない状態だったりしたことは割とあります。
その際の原因としては
・日常ツイートや二次創作と無関係なRTが多すぎる(グッズ取引含む)
・上と逆で、日常ツイートが無く作品を投げることしかしない
・取り扱いカプの組み合わせが悪い(ABとCBを書いているがAB者にCB地雷の人が多く、CB者にもAB地雷民が多い)
・年齢層が離れすぎている(アラサーの書き手が多いジャンルの大学生)
・2.5次元の話題もする(2.5次元は半ナマなのに腐萌えツイートを大っぴらにしていたり、そもそも2.5次元自体が苦手な人の多いジャンルだったり)
・キャラ解釈や作品傾向が特殊
・SSしか書かない(中〜長編の需要が高い)
・他カプdisなど問題発言が多い
・オフ活動が活発な界隈で1人だけオン専
・既に人間関係が出来上がっているジャンルに後から入った
・公式があまり二次創作に寛容ではないジャンルにも関わらず、公式のツイートをRTしたり公式にリプを送ったりしている
・成人向けシーンの描写がいつもおかしなことになっている(極端な例ですがやおい穴があったり、特殊設定でもないのに勝手に濡れる穴だったり)
・成人向け作品をクッション無しで上げているのに未成年のフォロワーがいる
などがありました。あとはある程度人気のある絵師さんだと字書き側からのアプローチは擦り寄りに見えて印象が良くないこともあります。

Twitterは作品に無関係な理由でフォローされないことも多いです。作品は支部にも上げていらっしゃいますか？支部の作品への反応をみると作品が問題なのか作品以外が問題なのかわかるかもしれません。
私もTwitterはフォローされていないけれど支部には反応をして下さる絵描きさんがいたりするので……