Яков ушёл на фронт в первые же дни войны. «Иди и сражайся», — напутствовал его отец.

24 июня Яков Иосифович принял командование артиллерийской батареей. За бой 7 июля 1941 года у реки Черногостница в Витебской области, где он до последнего снаряда не оставлял своего орудия, был представлен к ордену Красного Знамени. Получить не успел: 16 июля при выходе из окружения Яков попал в плен.

Маршал Жуков вспоминал, что И. В. Сталин глубоко переживал за сына, но был твёрд:

«Яков предпочтет любую смерть измене Родине». 

14 апреля 1943 года был застрелен часовым концлагеря, когда бросился на колючую проволоку.

Кстати, фраза, приписываемая Сталину (после пленения в Сталинграде фельдмаршала Паулюса, которого якобы немцы попросили обменять на Якова): «Я солдата на фельдмаршала не меняю», — скорее всего, легенда.