То, что ИСТ следует оснастить более мощным орудием, сотрудники КБ Котина и конструкторы завода № 9 поняли еще в июле 1943 года после Курской битвы. Это выразилось в двух вещах. Во-первых, производство ИСТ с 85-мм пушкой было ограничено до тех пор, пока не появилась возможность оснастить его более мощным орудием. Во-вторых, 100-мм орудие БС-3 и 122-мм орудие А-19 были адаптированы для установки на ИСТ и в ноябре 1943 года прошли испытания.
Более мелкое орудие показало более высокую бронепробиваемость, хотя более крупное также пробивало лобовую броню трофейной «Пантеры».
В конечном счете выбор пал на 122-мм пушку, поскольку для ее производства в достаточных количествах существовали все необходимые условия, в то время как БС-3 была в дефиците. Ствол снабдили двухкамерным дульным тормозом. Недовольный проектом оснащенного новой пушкой ИС-1, Котин разработал ИС-2 с усиленным бронированием и улучшенной подвижностью. Ступенчатую лобовую броню первых образцов заменили на лобовую часть со спрямленным носом.
Это давало лучшую защиту и позволяло избежать увеличения толщины брони и соответственного увеличения массы танка. Броня нового корпуса выдерживала прямое попадание 88-мм немецкого бронебойного снаряда с тысячеметровой дистанции, при этом собственное орудие пробивало 160-мм броню немецких танков с того же расстояния, если наводчику удавалось попасть в цель.
ИС-2 стали направляться в гвардейские полки тяжелых танков с начала 1944 года. Первой частью, укомплектованной ИС-2, которая вступила в бой с противником, стала 11-я гвардейская отдельная тяжелая танковая бригада. Это произошло в апреле 1944 года во время боев на юге Украины вскоре после успешного окружения и разгрома немецких войск в районе Корсунь-Шевченковского. В течение 20 дней боев 72-й гвардейский отдельный танковый полк потерял лишь восемь ИС-2, нанеся противнику большие потери. Русские рапортовали об уничтожении 41 «Тигра» и «Элефанта», хотя это кажется преувеличением. В этих боях один ИС-2 выдержал пять прямых попаданий из 88-мм орудия «Элефанта» с дистанции 1500-2000 метров. В конечном итоге он был выведен из строя выстрелом «Элефанта» с дистанции 700 метров.
Потеря других машин от огня артиллерии и поломок двигателя стала доказательством того, что даже у имеющих мощную броню машин есть уязвимые точки. Один из самых известных боев, в которых участвовали ИС-2, произошел в августе 1944 года во время сражения за Сандомирский плацдарм на Висле. Тогда ИС-2 впервые сошлись с грозными «Королевскими тиграми». 13 августа 11 ИС-2, экипажи которых проявили отличную тактическую выучку, отразили атаку 14 «Королевских тигров» 501-го танкового батальона. В результате боя, в котором ИС-2 вели огонь с дистанции 600 метров, четыре «Королевских тигра» были уничтожены и семь - повреждены. Потери русских составили три уничтоженных и семь поврежденных ИС-2. Однако следует отметить, что последующий анализ боя показал, что броня ИС-2 пробивалась при стрельбе с дистанции до 1000 метров из-за плохого качества литья.