ภายหลังท่านย้ายมาจำพรรษา อยู่กับหลวงพ่อยงยุทธ วัดเขาไม้แดง จ.ชลบุรี เนื่องจากหลวงพ่อยงยุทธนับถือท่านมาก และท่านยังเป็นอาจารย์อีกรูปหนึ่งของ อาจารย์หนู กันภัย
หลวงพ่อพุฒ ท่านเล่าว่า “โยมพ่อท่านสนิมสนมกับหลวงปู่ศุข ในช่วงท่านยังเล็กอยู่วัดปากคลองมะขามเฒ่า ท่านเคยสอบถามหลวงปู่ศุขเกี่ยวกับโยมพ่อ หลวงปู่ศุขเล่าว่าโยมพ่อท่านมีวิชาดีขนาดว่าเคยมีคนดักลอบทำร้าย ยืนถือมีดดาบอยู่สองข้างทางโยมพ่อท่าน เดินผ่านมาช่วงที่ถูกดักลอบทำร้าย คนร้านใช้มีดดาบฟันที่ตัวทั้งช่วงบนและล่าง พร้อมกันหมายจะให้ถึงตาย แต่กลับฟันไม่ถูกแม้แต่ผิวกาย”