フォロー外された側です。
一度だけRT &感想の空リプを頂き、しばらく反応しなかったらフォローを外されました。その前後で私はツイートをしていないので（Twitter自体は見ていましたが）、何か不手際があったというよりは、反応が無かったために外されたのだろうと思います。主さんの手法とは違うかもしれませんが、交流目的のフォローだったのかなと…。
もちろん、私の作品やツイートにそれだけの魅力が無かったと言われたら致し方ありません。
ただ、反対にお相手に魅力があれば私もフォロバしますし、片道フォローも沢山しています。
どのような基準でフォローし、そのフォローを解除するかはその人次第ですよね。無論、フォロバする側にも自由はあります。
主さんには主さんの基準があって、それは誰にも咎められるものではないと思います。あまりお気になさらず。

自分はフォローする相手は交流目的ではなく一ファンとして見て居たいアカウントだけを厳選するのでフォロバされなくても外す事は今のところないですけど
フォロー後しばらくして合わないなと思って外す事や、そもそも最初から交流目的でフォロバがなかったら外す事をそんな悪いとは思っていないです。

わざわざフォロー時に「○○さんの作品が前から素敵だなと気になっていたのでフォローしました！これからよろしくお願いします！」等と挨拶をしてきてフォロバが無かったらリム、もしかしてフォローに気づいてない？みたいな感じでフォローとリムを何度も何度も繰り返す……みたいな人だと、めんどくせ～～～と思いますが、無言でフォローしてきて無言で外しそこから関わって来ない分には、押し間違いかな～程度にしか思わないです。

分かりますその気持ち！

私はガンガンフォロー解除しちゃいますよ。
作品や考察が好きな方はフォローし続けます。

それ以外の「話してみたい」でフォローした方にフォロバされなかったら、「ざんねーん、解除しちゃお〜」ってなります！
時間が経つと「フォローし続ける理由がないな」って思うことがあります。

フォロバも自由なら、解除も自由ですよ。
好きな人をフォローし、好きになれない人は解除していけば良いと思ってます。

つながり厨かもしれませんけど、たかだかSNSの希薄な関係性に何を求めて依存しとるんじゃいって内心思ってます。
また、このスタンスで長年やってますが、咎められたことは一度もないですよ。

すごく分かります…。

仲良くしている相互フォロワーが鍵垢で「フォロバしないとリムる人ってどうせフォロバ目的なんだろうな」「フォローしないでほしい」と言っていて、でも実を言うと、私がその人を最初にフォローした理由は「気が合いそう、お話しして仲良くなりたいな」だったので、もしフォロバをくれてなかったら早々にリムってたかもしれません。「フォローしないでほしい」なら私とも出会えてないと思いますがそこら辺は…？と思いましたね…。

フォローの持つ意味って人それぞれでいいと思ってるんですよね、個人の意見ですが。
「仲良くなりたい」でフォローする人もいる。「この人の絵やツイートが見たい」でフォローする人もいる。この人のことが大好きで応援してるからフォロワー数を盛ってあげようみたいな気持ちでフォローする人もいるかもしれません。流石にフォロワー“数”稼ぎは普通に不快ですが、それも人それぞれと言ってしまえばそれまでかもしれません）

私は「仲良くなりたい」はフォローするのですが、むしろ「絵やツイートが見たい」だけの場合は非公開リストや鍵垢フォローが多かったりもします。理由は、やはりフォローという行為には、普通は多かれ少なかれ「繋がりたい」の気持ちが含まれているように見えるからです。
フォローすると通知が行きますから、フォロバした方がいいのかとか悩ませるかもしれない。
ただ絵を見たかった相手にフォロバされて挨拶されたら、まあもちろんファンフォローするほど尊敬してる相手にフォロバされて悪い気はしませんが、本来の目的とはズレます。
フォローする前は気付かなかった合わない部分に気づいたとしても、フォロバされてなくてリムるとそれこそ「フォロバ目的だったのかー」と思われそうですし、フォロバされてからブロ解だと向こうも「自分、何かしたかな」と気にするでしょうし…。
なので、繋がりたい気持ちが一切ない、ファンとしてのフォローの場合は、非公開リスト管理や鍵垢フォローにしてます。

と言いつつ、繋がりたい気持ちが一切ない時ってかなり少ないですよね。私はほぼありえません。大抵は、お話ししたい気持ちや、あわよくば神に認めて見向きされたい気持ちが少し以上あります。なのでフォローを使うことの方がやっぱり多いんですけどね。

トピ主さんの仰る「TLに出てきてモヤモヤっときた時が潮時」、これに全面同意です。
「フォロバされなかったからってリムってはいけない」なんていうルールがどこにもない（Twitter利用規約もそうだし、私の知る限りは界隈の暗黙の了解とかにもない）以上は、モヤモヤしててもなお見続けても、誰も得しないんですしフォロー外した方がいいに決まってます。モヤモヤの正体が「合わないな」でも「フォロバしてくれないならいっか…」でも「この人を見ると嫉妬してしまう」でも「なんか分かんないけどモヤモヤする」でも、どれでも構わないはずです。

とは言え、フォローされた時に相手は「あ！私の作品を見たいって思ってくれる人がまた1人現れたんだ！フォロバはしないけど、ファンがつくのが嬉しいなあ」と思うかもしれません。そんな中、数日やそこらでリムられたことに気付いたら（リム通知行く外部アプリとかありますしね）、「あー、私の作品のファンじゃなくて仲良くなりたかった方か…喜びを返して…」になります、ちょっとだけ。
なので、リムるにしても少し時間を空ける（しばらくはミュートしておいて後でリムる）とか、フォローするにも慎重になるとか、そうすれば相手のちょっとした落胆が減らせて、角も立たなくなってトピ主さんがtwitterしやすくなるかもしれません。気にしないのならそれでも全然いいと思います、相手を落胆させない義務なんてどこにもありません。

フォロバがないからフォローを外すというのは全然悪いことじゃないと思います。
インフルエンサーになりたくてフォロワー稼ぎ目的で手当たり次第にフォローしまくって、フォロバされなかったらリムブロするみたいなのはちょっと……と思いますが、そうではないなら別に普通だと思います。

それとは別に、「フォロバしてくれないならフォローしておく意味がない」と思われるのは正直少しモヤモヤしますし、ましてや路傍の石扱いはかなりイラっと来ます。でもこれはこれで自己中心的な感情なので、そういうフォローを絶対されたくないならはっきり「壁打ちです」とか「フォロバしません」と書いて交流目的のフォローを排除する努力が必要かなと思います。
実際私は「別にこの人の作品もツイートも大したことないけど交流はしてもいいかな」とか思われるのは嫌なので壁打ち宣言しています。
逆に交流したいなら、自分が交流相手を厳選するのと同様に、自分も誰かにとっての選別対象なのだということはある程度覚悟しておかないといけないと思いますね。

「フォローもリムも本人の好きで良い」というのが本来の使い方ですし、「君子の交わりは淡きこと水の如し」なんて言葉もありますしね。Twitterの関係というのは、つかず離れず見ないフリ、くらいが丁度良いのでしょう。

ただ、それを承知の上で本音で書かせて頂きますが、「フォロバされたいならアカウントのホームを見にいった時点で『何ジャンルをメインに活動している人』だか分かるようにしてくれ！」といつも思う…ほとんどの人のアカウントは雑談＋多趣味で、ちょっと記事を遡ったくらいじゃ何アカウントだか全然わからねえ…メディア欄を見てもガチャの結果と飯の写真ばっかりだし…！！
創作する人の場合は作品をきっかけになんとなく興味を持てますが、それでもホームに行ってTLが「〇〇ちゃんかわいい、ハスハス」みたいなのばっかりだったら引くし…！！

フォローされても暫くフォロバしないタイプです。
旬ジャンルということもあり、フォローはかなり厳選しています。なので、「ちょっと気になるな」という人からフォローしていただいてもフォロバに迷っているうちにリムられたりすることが多いです。因みに全く不快になることはありませんし、なんならリムられたあとも私はリストからその方のツイートを見ていたりします。フォローする決心がついたら、勿論上記の経緯があってもフォローします。
そもそも「交流する為には相互であることが最低条件」という価値観に共感出来ません。「相互」というラベリングがあるかないかというだけで、片道でもお互いにフォローしていなくても交流（リプライのやり取り）は出来るじゃん……と思ってしまうので……。
ただこの考え方が一般的でないのも、他にも色んな価値観の方がいるのも分かっているので、フォロバしないタイプの人間にはこういう人もいるんだなぁと思っていただけたら幸いです。

私も数ヶ月フォロー続けてフォロバが返らなかったので解除した事があります。
「叶わない恋に時間を割く意味あるのだろうか…なぜ片想いし続ける意味があるのか…」まさにこれです。
いいねやRTもして、時々リプもしてました。
でもそれに対する返信はくれましたが私の方へ何かしらのアクションをくれたことはありませんでした。
同カプでしたが作風が合わなかったり、そもそも字書きは眼中に無い方だったのかも分かりません。

他に一瞬だけ（というのはその後の活動を見ていて知りましたが）そのカプを描いて無言フォロー爆撃してた方がいて、私は同カプだったのでその方をフォロバしたんですけど、Twitterって自分がフォローしてる人も相手をフォローしてるとホームで見えるじゃないですか、その爆撃の方は秒でフォロバされたっぽかったので、この方が私を見てくれることは無いんだな、と気が付いたといいますか。
それでも作品やカプは好きなのでしばらくはフォローしていましたが、TLに流れてくる度に悲しくなってしまうようになったのでリムりました。
作品を見たくなった時の為に非公開リストに入れておきましたが、見にいったことはありませんね……。
自分から作家さんをフォローすることが滅多に無いので、必死で勇気を振り絞ったら無視された、みたいに感じたのかなと思います（笑）。