トピ主さんの感覚は変ではないと感じました。
おそらくご自身を卑下して厳しい書き方をされているかと思いますが、言い換えてしまうと「作品が好みじゃない相手も、交流のためにフォローしたり作品を持ち上げたりしないといけないのか？」ということになるのではないでしょうか。
Twitterで自作をたくさん宣伝して欲しい、交流を主軸に行いたいのであれば、好き嫌いに関係なく褒めたり関りを持つ必要があるかもしれません。しかし、自分のペースで作品を投稿したい、Twitter上での知名度はあまり気にしないのであれば、無理に交友関係を広げなくとも十分かと思います。

ちなみに、交流を盛んに行いジャンル内ではかなり有名になった友人がいるのですが、○○さんはいつもRTしてくれるから自分も絶対に返さなければ、○○さんがフォローを返してくれない、絵の上手な○○さんはほとんど呟かないのにフォロワーがあんなにいる……と、はたから見ていて大変そうでした。
周囲と確執を生まずにコミュニケーションを主軸に知名度を上げるというのは、並大抵の努力ではないと感じています。
個人的には、ある種の覚悟がない限り、変に関係を広がるとただ疲弊するだけな気がします。

※ただ、直接感想を貰った場合には分け隔てなく返信をするor全員に返信をしない、で統一した方がいいとは思います。さらに踏み込んで相手をフォローするかどうかは、トピ主さんの好き嫌いでいいのではないでしょうか。

トピ主さんとは少し違うかもしれませんが、絵があまりにも…だったり、作品に違和感を感じる人は私もフォロバしてません。リプが来たら普通にやりとりはしますが、あまり長引かないよう切り上げます。

周囲はその人達と頻繁にやりとりしてることも多く、トピ主さんのように罪悪感にかられることも多いです。
ですがそういった人たちは、時間が経つにつれ激しい解釈違いになったり大問題を起こしたりで「相互になったり交流したりしなくてよかった～！」と胸をなでおろす結果になることが凄く多いんです。

トピ主さんは上手い下手関係なく仲良くされてるご友人がいらっしゃるんですよね？でしたら交流に抵抗を感じさせてるのは、その人の絵の下手さでなく、絵から伝わってくる何か(考え方の違いや原作への解釈など)かもしれませんよ。