①背景がアナログ絵に合ってない可能性
→色味やタッチをアナログに合うようにしないといけない。また、写真の合成と同じで、もし建物や植物がある背景なら、光の方向・時間帯・屋外or室内…等の環境光をキャラクターと一致させないと違和感が出る。↓ドットやチェック柄等のパターンのみの背景なら②だけで解決するかも

②画材の透け感について
キャラの境界部分の「紙の白さ＋画材」から、「紙の白さ」だけをマイナスするイメージで処理をする。
詳しくは「Photoshop チャンネル マスク」とかでググって欲しいんだけど、難しければアナログ感のあるブラシの透明度を調整しながらマスクをかける…とかでもだいぶマシになるはず。

急がば回れじゃないんだけど、Photoshopを使った写真の合成が多少出来るようになるとアナログイラストの馴染ませも感覚として身につくと思う。

写真とアナログを合成させるって事かな？風景イラストとアナログを合成させるという事かな…？
キャラクターの縁が浮くという事なら

「下地がイラストである程度アナログの質感と合わせられる場合なら」
→アナログキャラデータをレベル補正等で周囲の色が真っ白にしてキャラの質感が残る程度まで調整する
→そのキャラデータを乗算で用意した背景データの上に設置する
→キャラデータと背景が重なって濃くなっている部分の背景を白又は消しゴムで消していく。
→輪郭で気になる部分だけ背景とキャラレイヤーの間に新しいレイヤーを設置して線画を追加調整する。
→最後に乗算でやカラー、オーバーレイで色全体を整える

「背景が写真等元々キャラ絵に合わない場合」
→背景写真を全体的にガウスボカシをかける
→Photoshopでフィルター、シャープ、アンシャープマスクでシャープに戻す。(情報量が減る)
→次に背景データにフィルター→フィルターギャラリーからブラシストロークのはねを設定(アナログの線質にする)
→フィルターギャラリーからテクスチャのテクスチャライザー(画用紙のような質感に設定)
→同じ手順で追加で粉状も設定(写真取り込み時のノイズ設定)
後は上のキャラデータの落とし込みを行う。

ガチで行いたい場合は、アナログデータを演算でくり抜いてマッティング処理を行って、グレースケール変換、オーバーレイ又はカラーレイヤーでグリザイユ画法を行う等だけど、おそらく説明不可のため上の単語で調べて頂ければ…。

ってやり方があるかと思います。
一番簡単なのは最初に言ったやり方でプロ向けが、おそらく一番最後のやり方だと思います。