作風やファン層の関係も多少あるのではないでしょうか？
私自身、好きな作者さんのTwitterをなかなかフォローできないことが多いのですが、主な理由が「私なんかがフォローしてもいいんだろうか」というものです。しっかりと作り込まれた小説が好きなので、おのずと作者さんも落ち着いた、浮ついていないお人柄なことが多く、比例してTwitterをフォローするハードルが上がりました。一人フォロワーが増えたところで気にしないだろうとは思いつつ、万が一にも「交流とか求めてないから知らない人にフォローされたくないんだけどな」なんて作者さんの負担になってしまったら……と考えてしまいます。
逆に、pixivのブックマーク数は控えめなもののTwitterのフォロワー数は多い方なんかは、気さくなふるまいと言いますか、若干アイドルっぽいふるまいをされているように思います。

なんの解決策にもなっていないですが、完璧すぎてフォローできない場合もあるということだけお伝えしたくて記載しました。

ツイートを読んでみて、「小説はうまいけれど、性格的に難があるな」と思った方はフォローしません。たとえ、どんなに神作家であったとしても、です。

あとは……、 CTSNx8taさんがおっしゃったように、完璧すぎる方が相手だと気後れすることはあります（この場合は、相手に対して、好意を持っていることがほとんどです）

また、原作を貶めたり、他人の悪口を言うような方にはミュートかブロックをします。場合によっては、作品を読まなくなることもあります。

ですが、主さんは、原作や他人の悪口などを言わないようなので、私だったらフォローするかもしれません。

ロムの方々はもしかすると、CTSNx8taさんがおっしゃるように、「作品は大好きだけれど、恐れ多くてフォローできない」と思っているのかもしれないですね……。
ロム専だった頃、私にもそういう字書きさんがいましたので。

主さんはかなり人気のある書き手さんらしいので、「完璧すぎて近づきがたい」と思われているのではないでしょうか。

そもそも何故か小説書きさんは絵描きさんと比較すると人気の割にフォローされづらいような気がしますね……
あの人気作家さんが何故こんなにフォロワー少ないんだろう！？と思うことはあります。
あまり気落ちしないで下さいね。

それでもフォローされる小説書きさんは、「気軽にフォローできる」雰囲気があるんじゃないでしょうか
気軽にフォローできる雰囲気というのは…
・交流が盛ん
・フォロバが多い
・みんながフォローしてるから
・良くRTしてくれるから

（言い方は悪いですが交流できるから/自分の作品を宣伝したり感想を言ってくれるから/…という作品への好意以外のフォローもあるような気がします。）

トピ主さんご自身は良くフォロバ/フォロー/RTなどはなさいますか？　※改善すべき、ということでなく要因の一つとしてあるのかな？と思い書かせていただきました。

誰かがトピ主さんをフォローし始めれば、おのずとフォローする方が増えるのかな？とか思ったりするので、気長に待つのも手かもしれませんね…。