交流か、自分が楽しく創作したい気持ちか、どちらかを取るしかないと思います。
結論から言うと、自分が創作したい気持ちが外的要因で必要以上にしぼんでしまったり、今までしてきた創作が嫌な思い出になってしまう可能性があるなら、潔くTwitterを辞めるべきです。
フォロワーだったり周りの人間が、全員が全員同じ考え方の持ち主では無いため、モヤモヤしてしまう場面は絶対あります。うまく言えませんが、空気を読めない人もいますし、あえて読まない人もいます。計算でヨイショをする人、なにも考えていない人、配慮なんかできない人、必ずいます。「大好きな方がTwitterを辞められてしまい、とても悲しくてしばらく立ち直れない」と呟いた次の日に「◯◯タグやるけど参加する人手ぇ挙げて！」とお祭り企画を始める人だっています。そんなものだと思うんですよ、匿名SNSなんて。

私は対人関係のトラブルでTwitterを辞めましたが、もっと交流してみたかったなぁという方はpixivにきちんとついてきてくださいました。
それに、Twitter上で誰かに庇って欲しかっただけなんだなぁと気付きました。とりあえず隅っこに存在し続ければ、きっと表舞台で楽しく交流している誰かの目に留まるだろう、誰かが声をかけてくれるだろう、そこからきっとまた輪の中に戻してもらえる！という甘えがあることに気付きました。

でも結局はいいねされなきゃこっちもしない、リプやフォロー等もそうですが、打算で交流してる人が多いため、純粋に好きだ！っていうその気持ちだけで交流してくださる方はかなり少ないと思うんです。
で、純粋に好きだ！と言ってくださる人ほど、言葉にあえて出さない方が多いんですよ。本当に好きだと言ってくださる方は、「ほんと神です！」とか「語彙力が…」とかいう薄っぺらいリプは絶対にしません。また、容易な拡散もしようとしません。声をかけていいのかどうか、また、どんなメッセージを送るのかじっくり考えます。そのため、味方である人ほど見えづらいのがTwitterの特徴でもあります。

最後までうまく言えませんが、他人のせいで自分がやりたいことや書きたいものをできなくなったり、諦めなきゃいけないのは絶対に勿体無いです。Twitterが窮屈だと感じたら、辞めてしまえばいいんです。活動の場は他にいくらでもあります。トピ主さんのやりたいことをやりたいように続ける、これが一番です。