เขาพิงกันเป็นชื่อเรียกตามลักษณะธรรมชาติที่พบบนเกาะพิงกันซึ่งเป็นเกาะที่ประกอบด้วยภูเขาสองลูกตั้งอยู่ทางทิศตะวันตก และทิศตะวันออก มีหาดทรายเชื่อมต่อระหว่างภูเขาทั้งสอง หน้าอ่าวด้านทิศเหนือมีเกาะตะปูตั้งอยู่ ภูเขาบนเกาะเขาพิงกันเดิมเป็นเกาะเล็กๆ สองเกาะแยกจากกัน ภายหลังมีการสะสมตัวของทรายจนตื้นเขินพ้นระดับน้ำทะเลกลายเป็นสันดอนทราย ซึ่งมีชื่อเรียกทางธรณีวิทยาว่าสันดอนเชื่อมเกาะ(Tombolo) เชื่อมเกาะทั้งสองให้เป็นเกาะเดียวกัน คำว่า เขาพิงกัน มาจากการค้นพบว่า ที่ฐานของภูเขาด้านทิศตะวันตกมีมวลหินขนาดใหญ่ตั้งพิงอยู่

เกาะเขาพิงกันตะวันตกและเกาะเขาพิงกันตะวันออก ซึ่งเชื่อมต่อกันด้วยสันดอนเชื่อมเกาะ รวมทั้งเกาะตะปูซึ่งตั้งอยู่หน้าเกาะ เป็นหินปูนเนื้อปนโดโลไมต์ (Dolomitic limestone) มีลักษณะเป็นหินปูนเนื้อแน่น(Massive) อายุยุคเพอร์เมียน (Permian) หรือราว 295 -250 ล้านปี การเกิดเป็นลักษณะเขาที่พิงกันนั้น เกิดจากรอยเลื่อนปกติ (Normal fault) ได้ตัดผ่านภูเขาด้านตะวันตกของเกาะ ในทิศทางทิศตะวันตกเฉียงเหนือ โดยมีการเอียงเทไปทางทิศตะวันตกเฉียงเหนือประมาณ 76 องศา แนวรอยเลื่อนนี้เฉือนให้หินปูนส่วนริมของเกาะขาดจากหินส่วนใหญ่ที่เป็นตัวเกาะ จากการศึกษารอยไถล หรือรอยครูดที่เกิดจากการเคลื่อนตัวของมวลหินบนระนาบรอยเลื่อน (Fault plane) ซึ่งปรากฏให้เห็นชัดเจนบนผิวหน้าเรียบที่มวลหินทั้งสองพิงกันนั้น พบว่ามวลหินปูนริมเกาะด้านทิศเหนือหรือส่วนที่ถูกเฉือนออก ได้เลื่อนตัวตกลงมาตามระนาบรอยเลื่อน ต่อมาภายหลังน้ำได้กัดเซาะฐานของมวลหินด้านเหนือจนกระทั่งขาดถึงระนาบรอยเลื่อน ทำให้มวลหินด้านเหนือหักและได้เคลื่อนตัวบิดเฉออกไปจากแนวรอยเลื่อนทำให้ได้ลักษณะมวลหินทิศเหนือพิงอยู่กับมวลหินขนาดใหญ่ด้านทิศใต้ หรือภูเขาหินปูนของเกาะเขาพิงกันตะวันตก

เขาพิงกันเป็นแหล่งท่องเที่ยวทางธรรมชาติที่มีความแปลก ชวนให้พิศวง เช่นเดียวกับเกาะตะปู ซึ่งอยู่ใกล้ๆ กันเป็นธรรมชาติที่ไม่พบเห็นได้บ่อยนัก จึงมีคุณค่าควรแก่การอนุรักษ์เป็นอย่างยิ่ง