その人は読み専だけど絵描き数人と相互で熱心に推しの話してるってことは、相当会話や萌え語りがうまくて絵描きにフォロバされてるタイプなんじゃない？一芸持ってるタイプの読み専というか
その人自身も、フォローしてる人数も1桁ってことは絵描きなら誰でもいいわけじゃなく、たまたま話や好みが合うのがその数人の絵描き相互だっただけじゃないかな

トピ主さんが何度か話を振って、楽しいと思ってもらえればフォロバされる可能性はあると思うけど、話せれば誰でもいいなら、読み専用のつながりタグとかで100％フォロバしますって言ってる人手当たり次第にフォローしまくるほうが効率よさそう
リムるのは好きにしたらいいと思う

可能性1
もしかしたら
「推しの話でぜひ交流させてください」
これを、「あなたの推し話のポストに時々リプをさせてください」と受け取り
「(片道フォロワーの方からのリプも嬉しいですよ)よろこんで」
と答えたのかな？と思いました。

可能性2
「交流させてください」と言われたら、本音は気が進まなくても皆が見えるリプ欄でこう聞かれたらokするしかないよな、返信ではこう書くけどフォロバはしないからそれで察して欲しい…と考えてのフォロバなし(この対応だとリプした側からしたら相手の言葉と態度が違って混乱してしまうよね)

もしトピ主さんが挨拶文で「よろしければ相互になってください」と書いた上でのフォロバなしなら2の可能性が高いかなぁ。相互になってとは書かなかったなら1もあると思う。　　
私自身は片道フォローの方に(フォロー時の挨拶はなし)、フォローから数ヶ月経たある時その方の推し語りに初めてリプしたらフォロバもらえたことあるよ。1なら今後フォロバされる可能性も0ではないはず。

> フォローの際に挨拶を交換したけどフォロバされなかった場合リムーブしますか？

私はトピ主さんのケースとは違うけど、FF外の人にRP感想したら(フォローはしてない)、その感想ポストに「感想ありがとうございます！」のリプ＋フォローまでもらったことが何度かあります。
しかし私は相手様をフォローしたいとまでは思っていなかったので、頂いた「ありがとうございます」リプには丁寧に返信はつけたけど、フォロバしなかったらリムされたよ。
(これは仕方ないと思っている。相手からしたらRP感想くれるぐらいだから自分に興味あるんだろうと期待してフォローしたのに、返ってこないからモヤっとしたんじゃないかなぁ)
だから、フォロバがないからリムはする人いると思います。
　　
>私の方は交流目的でそれができないと意味がないので、何日かしたら無言でリムーブしてしまっても失礼ではないでしょうか？

私はリムされたとき、フォロバしてないから仕方ないな〜と納得はしていたよ。
外されたってことは、相手からしたらもう私のことを良く思えなくて私には反応こないかなと思っていたら、リムされたお一人からは今でもたまにいいねが来るので(ありがとう…)、私もこの人のポストで気に入ったものには今でもFF外からたまにいいねしてるよ〜(共通相互からのリポストで流れてくるので)

リムされた後も険悪にはなってない体験談でした。だから、人によっては失礼とは感じないと思うよ