R
CDialog ist auch kein 'normales' Fenster.
MSDN:
When IsDialogMessage processes a message, it checks for keyboard messages and converts them into selections for the corresponding dialog box. For example, the TAB key, when pressed, selects the next control or group of controls, and the DOWN ARROW key, when pressed, selects the next control in a group.
Das heisst also, Deine Message wird in einem Dialog schon vorher rausgefiltert!