Eine Sehenswürdigkeit in Altenau ist die denkmalgeschützte Kirche, ein aus romanischer Zeit stammender Backsteinbau (12./13. Jahrhundert), mit einem aus dem 13. oder 14. Jahrhundert stammenden Altar eines unbekannten Künstlers. Auf dem Kirchhof befindet sich ein Gedenkstein für die im 1. Weltkrieg gefallenen Soldaten.