Για το σιρόπι βάζω σε μέτρια φωτιά ένα κατσαρολάκι με τη ζάχαρη, το νερό, το στίκ κανέλας και το χυμό λεμονιού. Τα ανακατεύω και τα αφήνω να βράσουν για 2-3 λεπτά. Βγάζω το σιρόπι από τη φωτιά και το αφήνω να κρυώσει τελείως.
Για το γλυκό χωρίζω τα αυγά, τους κρόκους από τα ασπράδια.
Χτυπάω με το μίξερ τα ασπράδια σε μαρέγκα.
Σε ένα μπολ αναμιγνύω το ελαιόλαδο με το χυμό λεμονιού, τα καρύδια, την κανέλα και τα γαρύφαλλα.
Στον μπολ του μίξερ χτυπάω τους κρόκους με τη ζάχαρη να λιώσουν και να πάρουν ένα παστέλ κίτρινο χρώμα.
Προσθέτω το μείγμα με το ελαιόλαδο και τα καρύδια.
Ρίχνω τη σόδα στο κονιάκ και τα ενώνω στο μείγμα.
Τέλος αφού αναμείξω το μπέικιν πάουντερ με το αλεύρι, τα προσθέτω σταδιακά στο μείγμα.
Βγάζω το μπολ από το μίξερ και με μια μαρίζ προσθέτω σε δόσεις τη μαρέγκα ανακατεύοντας απαλά να μην χάσει τον όγκο του το μείγμα.
Το ρίχνω σε βουτυρωμένο και αλευρωμένο ταψί διαμέτρου 28 εκ και το ψήνω στις αντιστάσεις σε προθερμασμένο φούρνο, στους 180*C για περίπου 30 λεπτά.
Μόλις το χρώμα του γίνει χρυσαφί και η οδοντογλυφίδα που το τσιμπήσω βγει καθαρή, είναι έτοιμο, το βγάζω από το φούρνο και το αφήνω για 2 – 3 λεπτά να κρυώσει.
Το λούζω με το κρύο σιρόπι και το αφήνω για περίπου 1 ώρα να το απορροφήσει όλο.
Όταν περάσει αυτό το διάστημα φτιάχνω την κρέμα χτυπώντας τα αυγά με το σύρμα να αφρατέψουν σε μια κατσαρόλα.
Αναμιγνύω το αλεύρι με τη ζάχαρη και τα ρίχνω στα αυγά συνεχίζοντας το ανακάτεμα.
Προσθέτω τη βανίλια και αφού έχω ζεστάνει το γάλα (όχι καυτό), το βάζω σταδιακά στο μείγμα.
Βάζω την κατσαρόλα σε μέτρια προς χαμηλή φωτιά ανακατεύοντας με μια ξύλινη κουτάλα απαλά συνεχώς (γιατί είναι εύκολο να κολλήσει στον πάτο), μέχρι η κρέμα να πήξει. Όταν στέκεται πλέον στην ράχη της κουτάλας είναι έτοιμη, την βγάζω από την φωτιά, τις προσθέτω το βούτυρο ανακατεύοντας το να λιώσει και την ρίχνω πάνω από την καρυδόπιτα.
Πασπαλίζω από πάνω με τα καρύδια και αφήνω για τουλάχιστον 2 ώρες να κρυώσει τελείως το γλυκό για να μπορέσω να το κόψω.