С первых дней приезда Александр Иванович Мильчаков – среди горняков на участках комбината. Ранним утром и поздним вечером молодого директора можно было встретить среди золотодобытчиков. Он активно включается в борьбу за строительство драги и новой фабрики.

Однако во второй половине 30-х годов начались репрессии. Не обошли они и Александра Ивановича, он был арестован в декабре 1938 г.  по клеветническому обвинению военной коллегией Верховного суда СССР.  Более 16 лет молодой директор, но уже опытный хозяйственник, находился в заключении в Норильском и в Магаданском лагерях. Только после смерти Сталина в апреле 1954 года был реабилитирован и восстановлен в партии со стажем с 1919 года, ему возвращены награды и восстановлено его честное имя. Многие реабилитированы посмертно. Горняки заслужили этого своим честным трудом и светлыми помыслами во имя величия нашей Родины.

Пройдя через испытания, Александр Иванович Мильчаков не потерял веру в себя, в свой народ, в своё детище – Балей. «Вспоминая о прошлых днях трудовой молодости, невольно гордишься тем, что в годы первых пятилеток пришлось трудиться с замечательными людьми – энтузиастами золотодобывающего предприятия комбината «Балейзолото». Они творили, растили своё любимое детище – Балей, и вместе с ним росли сами. Руководители умели работать с людьми, поэтому горняки и металлурги работали с полной отдачей сил, осознавая значимость золотодобычи для  развития  страны».