Για το λεμονάτο κατσικάκι στο φούρνο με πατάτες, σε ένα μπολ αναμειγνύουμε το ελαιόλαδο, το λεμόνι, τη ρίγανη, το θυμάρι, τη μουστάρδα και αλατοπίπερο. Τα χτυπάμε µε σύρμα, να γίνουν σαν κρέμα. Καθαρίζουμε, πλένουμε και κόβουμε κυδωνάτες τις πατάτες. Τις ρίχνουμε μέσα στο μπολ µε τα υγρά υλικά και ανακατεύουμε καλά.

Αδειάζουμε τις πατάτες σε βαθύ ταψί. Από πάνω τοποθετούμε το κατσικάκι. Αλατοπιπερώνουµε και περιχύνουμε µε το μείγμα που αλείψαμε τις πατάτες. Τέλος, ρίχνουμε στο ταψί το νερό.

Σκεπάζουμε µε λαδόκολλα και αλουμινόχαρτο, κλείνοντας γύρω γύρω το ταψί. Μπορούμε να χρησιμοποιήσουμε και γάστρα. Ψήνουμε για 1 ώρα στους 200 βαθμούς C. Ξεσκεπάζουμε το ταψί, χαμηλώνουμε στους 180 βαθμούς C και συνεχίζουμε το ψήσιμο για περίπου 1 ώρα, μέχρι να ψηθεί το κρέας και να μελώσουν οι πατάτες.