一枚絵だと、好きな絵柄なら多少解釈ちがうかな？と思ってもこういう世界観なのかもしれないと流せます
漫画はケースバイケースだけど上記に近い
小説は頭の中で原作絵をもとにイメージ組み立てるので、このキャラこんなことしないんだけど…と思い始めたら読めなくなりがちです

話ちょっとずれますが、絵や漫画だと画面内に描き込まれた情報を読み取るだけで済むけど、小説だと同じことを文字で説明されてもくどすぎて読む気無くなることもあります…
絵馬の小説はその辺が怖くてあまり読まないかも
（字馬のイラストの絵柄が好みじゃなくて積極的に見に行かないのと同じ感覚）

絵描きだけど、小説読んで解釈違いは結構よくあります
どうしても心情などを文章で表現することが多いからこちらの受ける印象に遊びが少ない、ちょっと違うなと感じた時にも都合のいい方向へ解釈しにくくなるからかなと思っています
例えば漫画だと無言で落ち込んだ表情の一コマで表現されるキャラの心情が、小説だとある程度は「何の何に対してどんな風に感じてどのように落ち込んでいるか」←この全部でなくてもいくつかを描写すると思うのですが、そうなるともしどこか微妙にでも解釈が違った場合に引っ掛かるポイントが多くなってしまうからだと自分は思いました

絵の方が受け取り側（読み手）の解釈が広く持てると思う。字はハッキリと解釈を文字で表現するから少しの違いでも違和感になるんだと思うよ。
例えば眉が下がって少し微笑んでるキャラの絵があったとして、寂しそうに笑ってると捉えることも少し困ってると受け取ることもできるけど、文字だとその余地はない。
これまでトピ主さんは解釈一致と思ってたけど、字にしたら違うってことは、トピ主さんがその絵師の絵を間違って解釈してただけで元々違ったのかもよ

トピズレかもしれないけど、様子を見てて「あ、好み」ってわかってからフォロバするタイプなのですが、何故かフォローした途端に作風が変わってしまったり(急に女体化とかリバ描き出したり)するパターン、要するに解釈違いというか地雷化に結構遭遇してブ結局無理になってブロ解…ってなります。
好みだった作風がたまにあるとかだったらフォローし続けてたと思うけど割合とか完全にシフトチェンジされると無理かな…

そんなんが多くてフォローもフォロバも出来ない壁打ちになってしまいました自分…
トピ主さんもストレスになるようならミュートかブロ解おすすめするぞ…

皆さん言われてるように、受取手側に想像の余地があるかないか。
一枚絵だとある程度受取手側に都合のいいように解釈のブレが許される。今このキャラこういう台詞言ってそうとかこんな感情だろうなとか。各々の脳内で補完できる。
一方小説は心理描写からその前後の行動まで文字で書き記されてので受取手側による解釈のブレが許されない。違和感感じても各々で補完し辛いので解釈違い起こりやすいと思う。

感情や登場人物の考えを文章化するのが小説だから、そこで違和感を覚えると解釈違いになるんだろうね。
絵だと曖昧にするやり方もあるけど、文章となるとある程度はっきりさせないといけないし。

これは経験上もあって、私は字書きで一次作品を複数の人にイラスト化してもらった際に同じシーンでもあえて描写をぼかした人物はそれぞれ違った描き方だったのに対し、ここはこう！って作中ではっきりと指定した心理描写ゆえの表情や装飾品はほとんどブレなく描かれていたから、想像以上に文章の強制力はあるんだと思う。

文章は誰にでも書けるとは言うけど微妙なところを伝えようと思ったらやっぱりそれなりに技術が要る
絵でもハンコ絵なら練習すれば描けたとしても微妙な表情や雰囲気を伝えるには技術が必要なのと一緒だと思う
だからその人の解釈自体はブレてないとしても慣れてない表現媒体では思った通りに出力できないということもわりとあると思う
でも絵の場合だと、巧拙の判断がつきやすいからそういうのはただの下手として処理されるけど、小説だとなんとなく合わない感じ、としてしか認識できないとか
不一致になる理由の一つとしてそういうこともあるのでは