お気持ち非常によくわかります。
私は二次元のキャラを推しているのですが、そのキャラがどう思われてるのかとかついつい気にしたくなくても気にしてしまう傾向があります。
推しとよく一緒にいるキャラとの人気度とかつい比較したり…
公式での展開で推し周りで炎上した時はもうTL見るのも辛く、メンタルにも影響してきます。

対策として、徹底的に数字類(フォロワー数、いいね数等)を隠せるツールを使ってTwitterを眺めるようにしてます。
ChromeブラウザだとおだやかTwitterを使用するのがおすすめです。
まぁそれで数字は隠せても他人のツイート内容はコントロール出来ないので、誰かが物申してたらそこでまたダメージが来ますが…(自分もここら辺を器用にスルーできるようになりたいのですがなかなか上手くいかず…)
少しでも参考になれば幸いです。

私の推しの話かと思うくらい境遇が近くてびっくりした。辛いよね、分かるよ……
2も言っている通りtwitterの数字関係の表示を全部隠すのと、私の場合は推しがyoutubeで配信してるのをPCで見ることが多いから、youtube上に出る同接の数もアドオンで非表示にして、明白な荒らしやアンチじゃなくてもちょっとでも自分がダメージを負うようなマイナスのコメントがあったらブロックしてるよ。
後はいわゆるパブサをしないようにして公式だけ見る。当たり前だけどアンチ系の匿名掲示板も見ない。
ああいうのを見たくなってしまう心理って、「見たら絶対に傷つく」ことが分かった上で見にいくことで「ほらやっぱり傷ついた」という歪んだ成功体験を得られてしまうかららしいとどこかで見たことあるよ。だからどんなに気になろうと見ちゃいけない。
自分はこれを続けるうちにほぼ壁打ちで落ち着いてきたけど、数字も推しへの悪い評価も気にならなくなって、精神的に安定して楽しく推せてるよ。
ガチで誰から見てもマズい失言ならまだしも、自分が推しの個性だと感じた発言なのなら、それは「失言」ではなく「個性」だと思い続けたまま愛することができたらそれが一番だよ。他人の評価に揺らされたくないなら他人の評価をシャットアウトするしかない。

多分同じか近しい界隈の人間ですが、正直気持ちはわかります。
推しの同時接続数・再生数・登録者数・SNS関連の数もろもろ全部気になります。ときどき我に返ってお前が気にしてどうすんだよ……と自分に呆れますがやめられないです。
トピ主さんがそうという話ではなくあくまで自分の場合はですが、私は自分が好きじゃないので自分の好きなものにも自信が持てないのと、数字の高いもの=良いもの/数字の低いもの=劣るものという刷り込みが抜けないせいでこうなってるんだと思います。
性格や価値観の問題なんでそれを変えるのは諦めてますが、原因は外部(推し本人やアンチたち)ではなく自分の心にあるのは明白なので、「それはそれとして推しが好き」と切り替えて応援しています。
「推しが迂闊だから」「推しがつまらないから」とか「アンチどもがうるせえから」とか原因を外に求めるとどんどん推しや界隈の人間が嫌いになっていってしんどいですが、「自分の心のせいだな」と思うと「今日の配信、全然再生数伸びてない……」とか考えてしまったときも「あーはいはいネガティブさんはちょっと引っ込んでてね〜」とある程度自分の気持ちをコントロールできます。(別件で極端に落ち込んでたりするとそうもいかないときもありますが)

トピ主さんの場合は私みたいに根が深い問題ではなくて、単に某アンチサイトを見てしまったショックが抜けないだけかもしれませんが、もし心当たりがあるなら自分の感情を分析してみて原因を突き止めると切り替えやすくなるかもしれません。

ちなみにアンチサイトっていうと多分あそこだろうなというのが一つ浮かぶのですが、あそこはクレムにたまにあるトンデモひねくれコメントだけを抽出して集めたような場所なんで、ショック受けなくて大丈夫ですよ。
なんでもない発言や行動をいかに悪意的に解釈できるかで競ってるような場所なんで……。あれもある意味二次創作(ヘイト創作)みたいなもんです。