トピ主さんは、とても自分に正直なツイッターの運用をされているなと思いました。
神経質というよりは、周りからどのような反応があってもあまり気にならない方なのではないでしょうか？
もしそうでしたら、気にせず自身の良いようにツイッターを使用される今のスタイルで良いと思います。
「こういった条件に当てはまる場合ブロックする」と明確にプロフィールを書いておくとトラブル回避に繋がると思います。

ただし、ブロックという行為は、「いきなりトピ主さんから拒絶された」というような印象をされた相手に与えてしまいます。ブロックによって、された方が悲しんだり、憤りを覚えることもあります。そういった負の感情が攻撃的な行動(誹謗中傷など)の引き金になることもありますので、そのことは念頭に置いておくこともオススメしておきます。

コメントありがとうございます。
個人的な感性を基準に実害という点から上2つに補足すると

・私は年齢指定のイラストをTwitterのフォロワーだけが見れる場所でのみ公開するのですが、その理由が性癖の都合上普段のツイートについてこれる人間以外に見られるのは恥ずかしいからで、私の何かしらのツイートを見て合わないなと判断しリムーブしたような人に一方的に性癖を知られているのが恥ずかしいんです。どこかでまた私を見かけて「合わないからフォロー外した○○の性癖抱えた人だ」みたいに思い出す瞬間がある可能性を潰したいんです。マジで恥ずかしいので脳裏からその記憶を抹消するか永遠に思い出さないで欲しいんです。黒歴史知られてる気分になるので…

・私が逆リバ地雷な時は基本的にカプそのものが地雷と言うより逆リバ界隈の主要解釈と解釈違いを起こしてる時なので、その界隈に居る人間に自分のツイートが供給となるかもしれないのが敵に塩を送っているようで嫌なんです。あと単純に逆リバ認知したくないので自分のツイートのいいね欄見てミュートしてても逆リバokの人が表示されるとストレス溜まります。

引き続きコメント募集しておりますので良ければ教えて頂けると助かります。また私自身はブロックされてると気付いたら自衛してて偉い！私もブロックしとくね！ってなるのですが、もしかして少数派なのでしょうか？良ければ追加でお答え頂けると嬉しいです。

気軽にブロックしていいと私も思います。
あなたのツイートはあんまり見たくないな、私のツイートも見ないでほしいな、という以外の機能はブロックないのに、ブロックされた＝何やらものすごい嫌悪感を向けられた、と解釈する人も多いようで少し驚いてます。
あなたのツイートはあんまり見たくないな、私のツイートも見ないでほしいな、の意味しかないよ…そういう機能だよブロックは…。

とは言え、ミュートでは我慢できない程度の嫌さだからブロックしているのもまた事実ですし、思い返せば私も、このサイトで「気軽にブロックする側」の主なブロック理由などの生の声を聞くまでは、ブロックされるのはやたらと悲しかったですしショックだったような記憶もあります。
相手がブロックを重く捉えすぎにせよ、ブロックされると傷つく人がいるのもまた事実ではあるんですよね…悩みどころです。
大嫌いだからブロックするって場合は別に悲しませてもいい場合も多いでしょうが、ただただ自衛でブロックする場合は傷つけたくないですからね…。

追加の質問（自分がブロックされてたらどう思うか）に答えると、何か良くない言動したっけ…と自分のツイートを省みてはしまいますが、そこで特に思い当たる節や反省点がなければ、性癖上の地雷踏んでしまったか何かなんだろうなと判断しそれ以降は気にしません。
私の好きがあなたの地雷だったのだと明確に突きつけられるのは、少なくともいい気分はしませんし、少し悲しくはなりますが、ブロック自体が悲しいというよりは分かり合えない人間の性（？）を悲しんでるだけなので、特に引きずることもないと思います。
と言いつつ、最近あまり「ブロックされています」を目にしてない（最近あまり人のフォローフォロワー欄を見ていないため）ので、実際ブロックされてみたら未だに悲しいのかもしれませんが、頭ではこう思ってます。

ブロックは元々備わってる機能だし好きにすればいいと思います。
人のブロックの使い方にとやかく言う方がおかしいです。自衛でブロックしてる人なんていっぱいいます。
その基準に個人差があろうが、快適にツイッターを楽しむためのブロックです。
基準が人とズレてようが気にしなくていいです。

ちなみに私はスパム、明らかにジャンルと無関係の広告アカウント、ジャンル内でも関わりたくない人はブロックしてます。
関わりたくない人の基準はジャンルの不利益になるツイートをしているかどうかです。
アンチ発言、漫画なら無料公開されてない内容のスクショ、ソシャゲならカードストーリーの勝手な配布などの侵害行為。またそれに群がる人たちも全てブロックします。

関わりたくない人をブロックしても別に何とも思いません。
ブロックされた事を騒ぐような人なら、それこそブロックして正解だったと思うだけです。

私の基準で話します。
・リムってきた元フォロワー
ミュートするけどたまにTL覗いて、私のことらしき悪口垂れてたらブロックする
・逆リバ地雷なカプで逆リバが見れるフォロワー
私は雑食で地雷はあるけど、自分が見たくないだけだから気にしない
・ネタや考察・解釈などの発言を被せてくるFF外
FF外なのに被せてきたことをどうやって知るの？でも続くようなら気持ち悪いからミュートで、場合によってはブロックするかも！
・カプ表記のない(カプ検索で引っかからない)ツイートに度々いいねしてくるFF外
地味に嫌だね〜FF外通知切ってるから大体気付かないけど、その人のプロフやTL見て気に入らなかったらブロックするかも…