Церковь была построена в честь избавления Нижнего Новгорода от нашествия татарского и ногайского войска, которое оккупировало нижегородские земли. По легенде, на месте, где сейчас находится церковь, был установлен шатер ногайского мурзы, который был убит точным выстрелом пушкаря Феди Литвича со стен кремля. Пушечное ядро поразило в грудь ногайского мурзу. После чего войско охватило смятение, в результате татары и ногайцы отошли от стен нижегородской крепости.
В память об этом выстреле, который спас город, нижегородцы в 1621 году возвели деревянную церковь. В 1655 году деревянная церковь перестроена в камне. Название Ильинской улицы также связано в древней церковью святого Илии.
Святыней церкви Илии Пророка является икона с частицами мощей святых преподобных Иова и Амфилохия Почаевских.