私と全く同じ感情をお持ちの方がいたとは…と思いコメントさせていただきます。
私も絵は上手くなく、たまたま自分のツイートに共感の上よろしければ描かせていただきたい、でもご自身で…ということであれば引きますので！という方に出会ったことがあります。
上手くない自分の絵よりも上手い人の絵で見てもらった方が作品としては嬉しいだろうな、とも思い当時は承諾しておりました。
実際に完成した絵も素晴らしく、私は感謝の気持ちもありましたが反面(元は私が考えたんだけどな)とやはりどうしても引っかかってしまうのが本音です。
自分も描きましたが当然ながらその方よりは伸びることはありませんでした。

きっと私たちのようなタイプは自分の考えたものは他人になるべく触らせず、自分の手で消化しないと満足感を得ることができないのでしょう。
それか許可を出す際に必ず元ネタについて表記してもらうこと、自身も元ネタと描いていただいたものをセットで拡散することで｢これは私の作品でもあるんです｣と認知度を上げるのもいいのかなと思いました。

妄想ツイだけでも立派な創作活動ですので、1作品として大切に扱ってあげて下さい。そして我先に！とご自身で絵や小説などの形に広げたいと思ったそのお気持ちを応援します。
あまりアドバイスなどを出すことができず申し訳ないですが、良い方向へ進むことを祈ります。

置き換えましょう！
・「自分」と考えずに全く同じ状況の別界隈(実際にある界隈が良い)を想像します。
・自分と同じ立場のAさん、神絵師立場のBさん、周りのROM等のCさん複数を用意します。
・Aさんの心境はすでに経験済みなので、Bさんの心境を想像しましょう。「うわ〜っこの妄想ツイ絵にしたい！いいかな…嫌がられるかな…でも描きたいな…聞いてみてもいいかな…」など
・次にCさん複数の心境です「さすがBさん！」「Aさんいつも後から絵描くのにいいのかな」「Aさんの絵で見たかったな」「いいな～私も描いていいのかな」「あちゃー、これはやられて嫌じゃないのかな〜。だから私は妄想ツイしないんだよ」「Aさん気にしない人なんだな」などなど

これらを全て神様になったつもりで外界の様子はどうじゃ？と見て下さい。
問題をメタ思考で捉えると見えなかった事が見えてきたりします。

まず最初に、年月とか交流とか関係なく漫画描き続けてるのすごいし尊敬します。漫画描くのって大変ですよね、
しかもSNSに載せてるのホントすごい。
いいねの数字とかはホント「作品に対しての正当な評価」ではないので気にしないでとしか言えない。いい！と思っててもいいね付けない人がいっぱい居るので。確実に。

モヤッとした件ですが、許可した後に諸々の結果でモヤる事になってしまったんですよね。
多分神絵師さんは純粋にトピ主さんの事が好きだし仲良くなりたいし好かれたいんだろうなーというのが伝わります。
でもまた似たように妄想を横取り(言い方)みたいな事があるかもなので交流を深めない方が良いかと。
疎遠、ミュート、絡みに行かない…などで。DMで許可申請も無視で…心苦しいかもしれませんが。