Родился Александр Ильич 27 сентября (9 октября по ст. стилю) 1863 года в Старобельске в небогатой помещичьей семье отставного офицера. Отец Зилоти, Илья Матвеевич (1833 - 1900 гг.), и мать, Юлия Аркадьевна (урожденная Рахманинова), были интеллигентными, музыкально образованными людьми. Илья Матвеевич избирался предводителем дворянства, председателем Старобельской земской управы. В течение 18 лет, начиная с 1868 года, он ежегодно избирался гласным земского собрания. В 1887 году имение Зилоти было продано с торгов. Лишившись своего имущества, он потерял право участвовать в избрании его гласным.
Нельзя не сказать и о деде Зилоти по матери - Аркадии Александровиче Рахманинове (1808 - 1881 гг.). Он был композитором и пианистом, увлекался сочинением романсов и фортепьянных пьес – написал более 150 музыкальных произведений.