김오수는 1963년 출생으로 올해나이 59세이다.고향은 전라남도 영광군 홍농읍 가곡리이며 영광홍농중학교와 광주대동고등학교(8회), 서울대학교 법과대학을 졸업했다. 사법연수원 20기를 수료하고 검찰에 몸을 담았다.
일선 수사검사 시절부터 특수부에서 자주 근무했으며 서울중앙지검 특수1부장을 거친 특수통으로 평가받는다. 대검 과학수사부의 초대 부장을 맡아 첨단 과학수사 역량 강화에 기여했다는 평가를 받았다.친화력이 좋고 지휘력이 높은 것으로 평가되며, 검찰 내외에서도 신뢰를 받고 있다는 평이 존재한다.
문재인 정부의 첫 검찰 고위직 인사에서 법무연수원장으로 승진했다. 법무연수원장은 보통 고참 고검장이 가는 한직인데 이례적으로 신임 고검장이 맡게 되었다. 2018년 6월 22일, 문재인 정부의 두 번째 대한민국 법무부 차관에 임명되었다.
2019년 6월 13일, 문무일의 후임 검찰총장 후보자에 봉욱, 이금로, 윤석열과 함께 올랐다. 그러나 문재인 대통령은 윤석열을 검찰총장으로 지명했다. 2019년 10월 14일, 조국 법무부 장관이 사퇴하면서 장관 직무대행을 하게 되었다.2019년 10월 15일, 법무부 국정감사에서 공석인 장관을 대리하여 국정감사에 출석했다.
2019년 12월 20일, 옛 광주교도소 부지에서 미확인 유골이 40여구가 발견되자 장관 직무대행으로 방문하였다.2020년 4월 26일, 법무부에서 김오수 차관을 교체하고, 고기영 서울동부지방검찰청 검사장을 차관직에 임명하는 것을 검토하고 있다는 기사가 나왔다. 본인이 물러나겠다는 뜻을 지속적으로 밝혔지만, 추미애의 신뢰가 두터워서 계속하고 있었다고 한다.
4월 27일, 차관에서 퇴임하면서 고기영으로 차관이 교체되었다. 하지만 차관에서 물러난 뒤에도 다른 고위직에 기용될 것이라는 전망이 계속 나오고 있다. 2021년 3월 윤석열 검찰총장이 기습적으로 사퇴한 이후 이성윤, 한동훈 등과 함께 검찰총장 후보로 거론되었고, 4월 29일 조남관 총장 대행 등과 함께 최후의 후보 4인에 들어갔다.