Родился в 354 г. в Риме, в благочестивой христианской семье, давшей ему хорошее воспитание и образование. Изучил сочинения всех риторов и философов и хорошо знал как греческий, так и латинский языки, однако оставил суетную жизнь мирскую и пренебрег еллинским любомудрием, посвящая себя на служение Богу. Когда он вступил в число клириков одной из римских церквей, то был возведен в сан диакона.

Император Феодосий (379–395 гг.), правивший в то время Восточной половиной Римской империи, искал для своих сыновей Аркадия и Гонория учителя, который научил бы их и философии, и божественной мудрости не только словом, но и примером своей добродетельной жизни. Услышав об образованности и благочестии диакона Арсения, он поручил ему воспитание своих сыновей. Против воли, но с усердием занялся преподобный образованием юношей. Однако высокий почет, которым он был окружен, тяготил его дух, стремившийся к служению Богу в безмолвии иноческой жизни. Преподобный Арсений стал со слезами молиться Богу, чтобы Он направил его на путь спасительный. И однажды услышал свыше голос, говоривший: «Арсений! Беги от людей, и ты спасешься». Тогда, сняв с себя роскошные одежды и надев странническую, он тайно ушел из дворца, сел на корабль и отплыл в Александрию, откуда немедленно поспешил в скитскую пустыню.

Проходя послушание под руководством преподобного аввы Иоанна Колова (память 9/22 ноября), преподобный Арсений вскоре превзошел в подвижничестве многих отцов-пустынников. Когда он опять молился, чтобы Господь научил его спастись, то в ответ на это был голос с неба, говоривший: «Арсений! Скрывайся от людей и пребывай в молчании, это корень добродетели». С тех пор преподобный Арсений поселился вне скита, в уединенной келлии, приняв подвиг безмолвия, приходя в церковь только в праздничные и воскресные дни, ни с кем не беседовал, соблюдая полное молчание. Когда иноки, подвизавшиеся в скитской пустыне, спрашивали его, почему он скрывается даже от них, святой отвечал «Знает Бог, как я люблю вас, но я не могу пребывать одновременно и с Богом, и с людьми, потому что на небе, хотя и очень много вышних сил – тысячи тысяч или десятков тысяч, но все они имеют одну волю и потому единодушно славят Бога, но на земле много воль человеческих, и у каждого человека свои мысли; каждый из нас имеет различные намерения и мысли, и потому я не могу, оставив Бога, жить с людьми». Преподобный Арсений говорил о себе, что он ни в чем не нуждается, потому что он умер для мира; пусть никто не считает его более живым (то есть живущим для мира).

Один странствующий инок, посетив преподобного, не услышал от него ни одного слова, а когда пришел к преподобному Моисею (память 28 августа/10 сентября), то тот принял его с радостью, предложил отдохнуть и подкрепиться пищею, и инок признал лучшим преподобного Моисея, оказавшим ему большую любовь. Другой инок, узнав об этом, стал молиться к Богу, говоря так: «Господи! Скажи мне, кто из них более совершен и заслуживает большей благодати Твоей: тот ли, кто скрывается от людей ради Тебя, или тот, кто принимает всех также ради Тебя?» И в ответ на молитву свою этот любомудрый инок имел следующее видение. Ему представились два корабля, плывшие по какой-то очень большой реке, в одном корабле находился преподобный Арсений, и Дух Божий управлял кораблем его, соблюдая его в великой тишине, в другом был преподобный Моисей, кораблем же его управляли Ангелы Божии, влагавшие мед в уста Моисея. Об этом видении инок тот рассказал другим, более опытным подвижникам, и все нашли, что более совершен преподобный Арсений, пребывающий в молчании, нежели преподобный Моисей, принимающий странников, потому что с первым пребывал Сам Бог, а со вторым же были только святые Ангелы.

Преподобный Арсений продолжал пребывать в безмолвии, все более и более углубляясь в богомыслии. Он пылал столь сильной любовью к Богу, что постоянно был как бы в огне по причине своих пламенных молитв. Преподобный не всегда подвизался на одном и том же месте, но иногда переселялся из скитской пустыни в более уединенные и безмолвные места, удаляясь от приходящих для беседы людей, так как они нарушали покой его душевный.

Преподобный Арсений учил: «Есть много таких людей, которые всячески стараются соблюдать чистоту телесную и для этого умерщвляют тело свое постом, бдением и многими трудами; но мало таких, которые ревниво оберегают душу свою от греха тщеславия, гордости, сребролюбия, зависти, братоненавидения, гнева, памятозлобия, осуждения. Таковые снаружи чисты телом, но душа их грязна, они подобны гробам, снаружи разукрашенным, внутри же полным костей смердящих. Блажен тот, кто старается сохранить от скверны как тело, так и душу свою, истинно блаженны чистые сердцем (а не только телом), потому что они Бога узрят».

О себе великий авва часто говорил такие слова: «Арсений! Для чего ты сюда пришел? Ты пришел сюда не для отдыха, а для трудов, не для лености, а для подвига. Подвизайся же, трудись и не ленись». Часто говорил также преподобный и такие слова: «Много раз я сожалел о словах, которые произносили уста мои, но о молчании я не жалел никогда». Стяжал блаженный Арсений и дар благодатных слез.

Великий подвижник и безмолвник провел 50 лет в иноческих трудах и подвигах, постом и молитвой благоугождая Богу. В ските пробыл сорок лет, десять лет жил на месте, называвшемся Трогин, около Вавилона, напротив города Мемфиса; затем преподобный пробыл три года в Канопе, близ Александрии и в некоторых других пустынных местах, так что никто не знал его образа жизни, потом снова возвратился в Трогин, прожил там два года и там же почил о Господе в возрасте 95 лет в 449 г. или в начале 450 г., заслужив от современников название Великого.