เดิมตามตำนานเมืองลพบุรีเป็นวัดที่พระยาแกรกได้สร้างไว้เพื่อฉลองชัยชนะที่ปราบท้าวโคตบอง วัดนี้เจริญรุ่งเรืองมานานเท่าไรอยู่ในหุบเขานี้ไม่ปรากฏ เมื่อประมาณ พ.ศ.๒๔๖๐-๒๔๖๕ หลวงพ่อเพา พุทฺธสโร มาพบเข้าอยู่ในลักษณะของสำนักสงฆ์ ท่านเห็นว่าเป็นสถานที่เหมาะแก่การอบรมสมถกัมมัฏฐาน และการเจริญวิปัสสนากัมมัฏฐานมาก จึงได้บูรณะก่อสร้างสำนักสงฆ์แห่งนี้ให้เป็นวัดโดยสมบูรณ์แบบต่อไป และได้สร้างเรือสำเภาทรงเจดีย์ไว้ โ
ดยให้ชื่อสำเภานี้ว่า “นาวามรรคสัจ” เป็นสัญลักษณ์ของท่าน โดยหมายถึงเรือที่ใช้ขนหมู่ชนเพื่อที่จะข้ามห้วงน้ำใหญ่ทั้ง ๔ ได้ ด้านหัวเรือและท้ายเรือสร้างเป็นที่อยู่พระภิกษุสามเณร กลางเรือสร้างเป็นเจดีย์บรรจุพระบรมสารีริกธาตุ ที่ฐานเจดีย์เป็นห้องพักอยู่อาศัย ชั้นบนเป็นที่ประดิษฐานรอยพระพุทธบาทจำลองไว้ เพื่อเป็นที่เคารพสักการะของพุทธมหาชน
สิ่งก่อสร้างอื่นๆอีก ขณะที่ท่านจำพรรษาที่วัดเขาวงกฏได้ประกอบหิตานุหิตประโยชน์เกื้อกูลแก่เหล่าบรรดาพระภิกษุสามเณร อุบาสกอุบาสิกา คณะศิษย์ทั้งหลาย รวมทั้งหมู่ชนที่ผ่านไปมาก็ได้แผ่เมตตาปกคลุมไปถึง ปฏิปทาของหลวงพ่อท่านที่พึงเห็นได้ชัด เช่นการแสดงธรรมให้ชนทั้งหลายตั้งมั่นอยู่ในศีลในธรรมเป็นพุทธศาสนิกชนในทางที่ถูกที่ควร และการวางกฎระเบียบแบบแผนต่างๆของวัดเขาวงกฏ เป็นต้น วัดเขาวงกฏในสมัยนั้นเป็นที่รู้จักกันมาก “วัดเขาวงกฏมีกฎระเบียบที่เข้มงวด ตั้งมั่นอยู่ในพระธรรมพระวินัยมาก” การรักษาประพฤติปฏิบัติในพระธรรมวินัยอย่างเคร่งครัดของหลวงพ่อเพา และการอบรมพระภิกษุ สามเณร อุบาสิกาที่อาศัยอยู่ให้เป็นผู้ที่มีความสำรวม มักน้อยสันโดษ จนเป็นที่เคารพนับถือของเหล่าศิษยานุศิษย์ทั้งหลายเป็นอันมาก และคฤหัสถ์ในขณะนั้นอย่างกว้างขวาง พระอาจารย์มั่น ภูริทตฺโต พระอาจารย์ใหญ่พระธุดงค์กัมมัฏฐานสายธรรมยุตยังได้กล่าวว่า “พระอาจารย์เพา พุทฺธสโร วัดเขาวงกฏเป็นพระแท้องค์หนึ่ง” ซึ่งจะไม่ค่อยได้ยินพระอาจารย์มั่น ออกปากชมพระภิกษุองค์ไหนๆ
