信濃国高遠藩（現在の長野県伊那市高遠町）の内藤家へと身柄を預けられた絵島は、山深い地に作られた「囲い屋敷」で過酷な幽閉生活を送ることになります。
当時の記録によると、囲い屋敷は周囲を二重の板塀で囲まれ、格子窓には鉄格子がはめられ、外部との接触は一切禁じられていました。朝夕の食事や衣服にも厳しい制限が課され、見張り役の武士が常時監視する厳戒態勢でした。華やかな大奥の頂点から一転、外界から完全に遮断された極限状態に置かれたのです。
しかし、絵島は幽閉生活の中で乱れることなく、朝夕の読経を欠かさず、高遠藩士たちに対しても礼節を尽くして暮らしたと伝えられています。高遠の地で27年間に及ぶ幽閉生活を耐え抜いた絵島は、寛保元年（1741年）に61歳でその波乱に満ちた生涯を閉じました。現在も高遠の蓮華寺には絵島の墓が残り、非業の運命を受け入れた気高い女性として語り継がれています。
