JDialog ist eine Klasse in Java.
Diese dritte Art von Top-Level-Container wird, wie der Name schon sagt, dazu eingesetzt, Dialogfenster darzustellen. Dabei handelt es sich um Fenster, die nur temporär auf dem Bildschirm erscheinen, bis das Programm mit dem Benutzer bzw. der Benutzerin einen Dialog abgewickelt hat.
Benutzt wird es so ähnlich wie JFrame.
Ich hoffe, das hat dir ein bisschen geholfen. 
Geb mal bei Google "Java: JDialog" ein.