ในสมัยรัชกาลที่ 4 ได้โปรดเกล้าฯ ให้สร้างพระที่นั่งโถงชิดด้านหน้าพระที่นั่งอมรินทรวินิจฉัยมไหสูรยพิมาน และ สร้างพระทวารที่สำคัญอีก 2 แห่ง คือ พระทวารเทวาภิบาลที่ด้านทิศเหนือ และพระทวารเทเวศร์รักษาที่ด้านทิศตะวันตก ที่ทับหลังของพระทวารเทวาภิบาลบานกลางซึ่งเป็นทางเสด็จพระราชดำเนินมีภาพนูนต่ำปิดทองรูปเทวดา 2 องค์ในท่าเหาะ องค์หนึ่งเงื้อพระขรรค์ อีกองค์อยู่ในท่าอัญชลี ส่วนทับหลังของซุ้มพระทวารเทเวศร์รักษามีรูปเทวดาเหาะถือพระขรรค์ ขนาบข้างด้วยยักษ์ 2 ตน ประติมากรรมรูปเทวดาทั้งสองแห่งคงสร้างขึ้นเพื่อให้พ้องกับนามของพระทวาร รูปลักษณ์ของเทวดาเป็นการถวายอารักขาและถวายพระพรแด่พระมหากษัตริย์และพระบรมวงศานุวงศ์เมื่อเสด็จพระราชดำเนินผ่าน

นอกจากนี้ ยังมีซุ้มพระทวารด้านทิศตะวันออกและตะวันตกใกล้กับพระที่นั่งโถงที่อยู่ด้านหน้าพระที่นั่งอมรินทรวินิจฉัยฯ ที่ทับหลังมีประติมากรรมนูนต่ำปิดทองรูปเทวดาทั้งด้านในและด้านนอก รวมทั้งสิ้น 4 ภาพ สันนิษฐานว่าเป็นภาพท้าวจตุโลกบาลซึ่งเป็นเทวดาที่อยู่ประจำทิศทั้ง 4 รอบเขาพระสุเมรุ ได้แก่ ท้าววิรุฬปักษ์ ท้าวเวสสุวรรณ ท้าววิรุฬหก และท้าวธตรฐ

การประดับซุ้มพระทวารต่างๆ ใกล้กับของพระที่นั่งอมรินทรวินิจฉัยมไหสูรยพิมานด้วยประติมากรรมที่เกี่ยวข้องกับเทวดาและจตุโลกบาลดังกล่าว สะท้อนถึงคติความเชื่อว่าบริเวณประตูทางเข้าพระที่นั่งเหล่านี้เปรียบประดุจสวรรค์ชั้นจาตุมหาราชิกาอันเป็นสวรรค์ชั้นแรกสุดในฉกามาพจรที่อยู่รายล้อมเขาพระสุเมรุ ก่อนที่จะเข้าสู่สวรรค์ชั้นดาวดึงส์อันเป็นที่ประทับของพระอินทร์ซึ่งเปรียบได้กับพระที่นั่งอมรินทรวินิจฉัยมไหสูรยพิมาน

พระทวารด้านทิศตะวันออกใกล้กับพระที่นั่งโถง

ประติมากรรมจตุโลกบาลที่ซุ้มพระทวารใกล้กับพระที่นั่งโถง