Отец его Алексей Семенович Воронцов был отставным капитаном и приходился двоюродным братом Роману и Михаилу Илларионовичам Воронцовым, известным влиятельным вельможам при дворе Елизаветы Петровны. В браке с Екатериной Ивановной Стрешневой, Алексей Воронцов родил пятерых детей, из которых до совершеннолетия дожили сын Иван, да дочь Марья.
Все детство Иван провел в Белкино в имении отца, что находилось недалеко от Ростова. И лишь в двенадцать лет, после смерти отца он впервые попал в Петербург. Его двоюродный дядя граф Михаил Илларионович, взял мальчугана на жительство к себе в дом, по просьбе матери Ивана.
Ибо она считала, что за мальчиком должен был быть учинен мужской присмотр. Спустя три года из худощавого несуразного отпрыска Ванюша, как ласково называл его дядя Михаил, превратился в высокого, статного юношу и Михаил Илларионович решил определить молодого человека на службу в действующую армию. Иван Воронцов был зачислен в лейб-кирасирский полк, в чине подпоручика. Кирасиры, новые, появившиеся сравнительно недавно войска в царской армии, комплектовались из молодых дворян славянской внешности, высоких, русоволосых.
Их предназначение во время военных действий состояло в сокрушительном ударе рослых всадников на мощных конях на сомкнутый строй противника. Иван подошел по всем параметрам и начал свою службу в Петербурге.
Позже полк Ивана был переведен на постоянное место дислокации в Сарское Село и молодой Воронцов, мог часто приезжать в столицу, развлекаться. Будучи двоюродным племянником канцлера, Иван позволял себе вести довольно бесшабашную, разгульную жизнь.
Без разрешения полкового командира он мог отправиться на несколько недель в Петербург и пропадать на балах и попойках бесконечно, пока его дядя, который по просьбе его покойного отца приглядывал за молодым человеком, не настаивал на его возвращении в полк. Все дерзкие выходки сходили Ивану с рук, ибо за его спиной стояли могущественные покровители. А командир полка терпеливо внушал молодому Воронцову, что есть военный устав и негоже самовольничать.
Иван надменно кивал в ответ, совершенно не собираясь меняться. Воронцов хорошо держался в седле, прекрасно стрелял, но служба тяготила его. Он не раз порывался бросить армию, но Михаил Илларионович запрещал ему это, ибо знал, что без службы Иван еще сильнее пустится во все тяжкие.
И сейчас, созерцая, расписной плафон спальни над головой, Иван брезгливо поморщился, понимая, что его юность прошла совершенно бездарно и глупо.