両刀だから嫌がられるってことはないと思う
厳しい言い方になっちゃうけど、やっぱりいい絵だと思ってもらえない内は評価もそれなりの結果になるよ
絵描きだから、字書きだから、とかじゃなくて割と単純な話

嫌いとかはないですが、どっちもやってるその人の絵も見て小説も読んで…とは今のところなってないです。
その人の絵が好きだったら、絵しか見てないですね。

両刀さん（特に途中から絵を公開し始めた）が苦手なタイプです。
小説は自分の好きに想像できるとこが良いのに、両刀さんだとどうしてもその人の絵がちらついてしまうからです。
好みの絵だったらいいんですが、苦手な絵柄（上手い下手関係なく）だと絵どころか小説も読めなくなってしまいます。
字書きから始めたアカウントで絵に反応がないのは、私みたいなフォロワーさんが多いのかもしれません。

試しにアカウント分けて絵だけ公開してみたらどうでしょ。

上の方と一部被りますが、トピ主さんと同じで字書きから絵も始めた方がジャンルにいました。その方の絵柄が生理的に受け付けなかったため、小説も読めなくなってしまったことがあります……レアケースだとは思いますが、一応分けた方がいいかも。
他には投稿時間考えてみるとか、ファンアートタグがあるなら使ってみるとか。どっちも評価されるようになるといいですね。