同じ立場だったら転生壁打ち一択です。
こんな人たちのために…というモヤモヤを自覚してる、原作を追って描きたいものを描きたいとご自身で答えが分かっているのですから、あとは行動を起こすのみかと思います。望むような反応がないならこの先もモヤモヤする人たちと嫌々繋がってても関係は変わらないでしょうし、何よりモヤモヤしてる時間がもったいないので快適な二次創作環境を整えた方がいいと思います。

活動している人は少ないとのことですが、ROM層はどうでしょうか。もしわずかでもROM層がいるなら、その人たちの好意を大切にするような行動を心がけたらいいと思います。目の前の嫌な人より、遠くにいるけど嫌じゃない人のために作品を発表しましょう。もし今思い当たる人がいなくても、きっといつか新たな原作ファンが現れるはずです。

また自分以外、嫌な人たち以外の同ジャンル者（創作活動する人を増やすのは難しいですが、ROMやトピ主さんの作風を好きになってくれる人）を増やすなら、ひとつのアカウントでいろんな作品の二次創作をアップするのおすすめです。トピ主さんの本命ジャンルがA、最近流行りのちょっと興味あるジャンルをBとして、AもBも両方アップすると、B経由でAにも興味を持ってくれる人が現れる可能性があります。
別ジャンルで交流が続いているとおっしゃっているので、そちらのアカウントにAをアップしてみてはどうでしょう。おすすめジャンルに引き込むのに効果的なのは地道な布教活動より、そのジャンルを愛しすぎて狂ってる自分自身を見せることです。中にはフォローを外してくるフォロワーもいるかもしれませんが、それが気にならないなら一度やってみてください。私もそれでオンリーワンジャンルに引き込みました。

長々と書きましたが、頑張ってください！

コメントくださった方ありがとうございます。
やっぱりそういう人たちはどの界隈にも一定数いますよね…笑
パスや壁打ち、一度やってみたいなと前々から思っていたので一度挑戦してみようと思います。
たしかにとても狭い界隈なので、(検索しようと思えばすぐ炙り出せれる、検索の更新速度？がかなりゆっくりめ)あえてミュートなどがいいかもしれませんね。
変に触れず触らずがいいですね。
やはり無反応、一人で徹底的に楽しみたいですね。

この件で最近気分が優れず、過去のツイート漁っていたら別ジャンルの神絵師が気まぐれで描いた絵には界隈古参の人たち囲い込みでRT＋感想してるみたいで本当につらい…普段イラストを定期的にアップして、萌えツイートも一人でして楽しいけどなんだなぁと思います。全然感想も貰えないのに定期的にひとりで狂っていてバカげているなと思います。
原作楽しみたい、これからも変わらず二次創作したい熱量と自分の不安定な気持ちがアンバランスでどうにかしないとなと思います。
きっぱりインターネットも二次創作とかいう趣味もキッパリ絶てれたり、周りの評価に流されなければどんなに楽か…