Непонятна цель - шпаклёвка под покраску интересует или утепление? Если в квартире всё в пыли, то красить окна Вы вряд ли сейчас будете, тем более зима на дворе.
Для шпаклевания подойдёт любая шпаклёвка по дереву для внешних и внутренних работ. Для утепления - самоклеящийся резиновый уплотнитель. Правда, перед покраской его придётся содрать, но зато зиму в тепле переживёте.
А герметик, если использовали неокрашиваемый, придётся полностью удалить перед покраской, на него краска не ляжет.
А что такое "риски" на окнах?