Впервые город упомянут в 1552 году, когда царь Иван Грозный во время третьего похода на Казань приказал заложить на присоединенных мордовских территориях кремль. Официальной же датой основания принято считать 1578 год, именно к этому времени относятся дошедшие до нас исторические документы, в которых Арзамас упоминается как крепость и административный центр большого уезда.

О происхождении названия города есть несколько версий. По наиболее популярной название города изначально звучало как Эрзямас и происходит от мокшанского слова эрзя «мордвин-эрзянин» . Также существуют версии, что название города производится от имени двух мордвинов (Арзая и Масая), оказавших Ивану Грозному услугу и что название «Арзамас» образуется из двух слов — «Эрзя» и «Маз» — что означает красивое (главное) поселение мордовского племени Эрзя .

В течении многих лет Арзамас жил и развивался как торгово-ремесленный город, застраиваясь особняками богатых купцов и красивыми белокаменными церквями, что придавало городу особый неповторимый облик.

«Город 33 церквей» — так называют Арзамас, поскольку к началу XIX века в нем было 33 храма и 4 монастыря, к сожалению не все они дожили до наших дней.