一次創作の者です。どうしても許可したくない人と許可してもいい人の差はありますよね。
私は基本的に、そういった確認はDMなど表で見えないようなところでやり取りをしています。許可したいと思うような人には表に出しているよりも詳細に説明したりします(これは明確にこちらのファンアートであると明記していただける方であるというのもあると思います)。
断る理由としては「自分で掘り下げたいから」など、あくまでもそのネタや設定をもう少し練りたいというていでいるのがいいと思います。
自分の作品を守るためにも、トピ主さんのやりやすいようにやるのが一番です。周囲によく思われなかったとしても、信頼できる厳選した人とやり取りをするのも楽しくていいと思います。

私もめんどくさくて全部に許可してますw
でも一度しつこく何度もどのネタでも「描いていいですか？」と事務的に聞いて来る人がいて、「今回はやめてもらっていいですか？」と理由も告げずに断ったら「わかりました」と返ってきて、その後何事もなかったということがありまして、
あ、断ってもいいんだな、と実感したことがあります。
そう思ったら少し気が楽になりました。
二次創作のネタ被りってよくある事だとも思うので、許可を取ってくる人は防衛策として聞いて来てる感じがするので、もはや相談事を聞いている気分で許可を出している気もします。
（わかったわかった、君はどろぼうじゃないよ、うんうん。はいはい。いってらっしゃい。の気持ち）
そして私の場合はですが、そういう人たちは交流を取ろうともしてこないので、まあいっかな、と思って日々を過ごしてます。

トピ主に言いたいのは、「断っても大丈夫」ということです。
あ、でももし許可出しをみんなに見えるリプ欄でやっているならDMのほうがいいかもですね。私も上の方と同じで全てDMでやりとりしてます。