มีเรื่องเล่าสืบต่อกันมาว่า หนานแดงได้อพยพมาตั้งบ้านเรือนบริเวณลำห้วย ซึ่งปัจจุบันคือห้วยลำ และได้สร้างสำนักสงฆ์ใกล้กับลำห้วยนี้ด้วยอิฐสีแดง ชาวบ้านเรียก วิหารแดง และเรียกลำห้วยนี้ว่า คลองวิหารแดง อีกนัยหนึ่งกล่าวว่า บริเวณนี้มีเถาหนามหันแดงมาก จึงเรียกว่า บ้านหันแดง ต่อมาเพี้ยนไปเป็นวิหารแดง
แต่เดิมตัวอำเภอไม่ได้ตั้งอยู่ในพื้นที่ปัจจุบันนี้ แต่ตั้งอยู่ในพื้นที่ของเทศบาลตำบลหนองหมู แต่เมื่อมีการตัดถนนสุวรรณศรและเส้นทางรถไฟผ่าน จึงได้ย้ายที่ตัวอำเภอมาอยู่ ณ พื้นที่ปัจจุบันนี้
อำเภอวิหารแดง ตั้งอยู่ทางทิศใต้ของจังหวัด มีอาณาเขตติดต่อกับเขตการปกครองข้างเคียง ดังต่อไปนี้
- ทิศเหนือ ติดต่อกับอำเภอเมืองสระบุรีและอำเภอแก่งคอย
- ทิศตะวันออก ติดต่อกับอำเภอบ้านนา (จังหวัดนครนายก)
- ทิศใต้ ติดต่อกับอำเภอบ้านนา (จังหวัดนครนายก) และอำเภอหนองเสือ (จังหวัดปทุมธานี)
- ทิศตะวันตก ติดต่อกับอำเภอหนองแค
การปกครองส่วนภูมิภาค
อำเภอวิหารแดงแบ่งพื้นที่การปกครองออกเป็น 6 ตำบล
1. ตำบลหนองหมู
2. ตำบลบ้านลำ
3. ตำบลคลองเรือ
4. ตำบลวิหารแดง
5. ตำบลหนองสรวง
6. ตำบลเจริญธรรม
การปกครองส่วนท้องถิ่น
ท้องที่อำเภอวิหารแดงประกอบด้วยองค์กรปกครองส่วนท้องถิ่น 8 แห่ง ได้แก่
- เทศบาลตำบลวิหารแดง ครอบคลุมพื้นที่บางส่วนของตำบลบ้านลำ ตำบลคลองเรือ ตำบลวิหารแดง ตำบลหนองสรวง และตำบลเจริญธรรม
- เทศบาลตำบลหนองหมู ครอบคลุมพื้นที่บางส่วนของตำบลหนองหมู ตำบลวิหารแดง และตำบลหนองสรวง
- องค์การบริหารส่วนตำบลหนองหมู ครอบคลุมพื้นที่ตำบลหนองหมู (เฉพาะนอกเขตเทศบาลตำบลหนองหมู)
- องค์การบริหารส่วนตำบลบ้านลำ ครอบคลุมพื้นที่ตำบลบ้านลำ (เฉพาะนอกเขตเทศบาลตำบลวิหารแดง)
- องค์การบริหารส่วนตำบลคลองเรือ ครอบคลุมพื้นที่ตำบลคลองเรือ (เฉพาะนอกเขตเทศบาลตำบลวิหารแดง)
- องค์การบริหารส่วนตำบลวิหารแดง ครอบคลุมพื้นที่ตำบลวิหารแดง (เฉพาะนอกเขตเทศบาลตำบลวิหารแดงและเทศบาลตำบลหนองหมู)
- องค์การบริหารส่วนตำบลหนองสรวง ครอบคลุมพื้นที่ตำบลหนองสรวง (เฉพาะนอกเขตเทศบาลตำบลวิหารแดงและเทศบาลตำบลหนองหมู)
- องค์การบริหารส่วนตำบลเจริญธรรม ครอบคลุมพื้นที่ตำบลเจริญธรรม (เฉพาะนอกเขตเทศบาลตำบลวิหารแดง)