Προθερμαίνετε τον φούρνο στους 150°C. Χτυπάτε στο μίξερ για 5 λεπτά περίπου το βούτυρο με τη ζάχαρη, μέχρι να αφρατέψουν. Προσθέτετε ένα - ένα τα αυγά και συνεχίζετε το χτύπημα μέχρι να ομογενοποιηθεί το μίγμα.
Ετοιμάζετε το σιρόπι βράζοντας για 1 λεπτό τη ζάχαρη με το νερό. Κατεβάζετε από τη φωτιά και προσθέτετε το κονιάκ. Ζεσταίνετε 1/4 φλιτζ. τσαγιού γάλα και διαλύετε μέσα του τον καφέ.
Σε μια κατσαρόλα βάζετε το γάλα, την κρέμα γάλακτος, τη ζάχαρη, τους κρόκους και τα μπαχαρικά. Βράζετε ανακατεύοντας με σύρμα, μέχρι το μίγμα να φτάσει σε βρασμό.