Родился в Марселе, в гасконской семье художника-декоратора, специализировавшегося на росписи кораблей. Пошёл по стопам отца, начав работать в марсельском Арсенале галер. Брат скульпторов Жана Батиста и Жозефа. В 1715 г. в Париже своими портретами привлек внимание Петра Лефорта, с которым заключил контракт о работе в России на три года в качестве живописца и с дополнительным обязательством по обучению русских учеников. С 1716 года проживал в России. Состоял в ведомстве Канцелярии от строений с 1718 года, где имел русских учеников. До этого числился в Петербургской губернской канцелярии. В 1722 году он сопровождал Петра I в Астрахань, где написал его портрет (известен по гравюрам). В это царствование получал 500 рублей в год.Жил на Васильевском острове вблизи дворца Меншикова, в собственном доме, подаренном ему в 1722 Петром I. Также жил в Москве.
При Анне Иоановне был назначен «придворным первым живописного дела мастером» (сперва с окладом 1500 рублей, потом — 2000 рублей в год), исполнил её коронационный портрет и участвовал в оформлении празднования коронации. В качестве гофмалера Каравак оставался и при Анне Леопольдовне, и при Елизавете Петровне. Стал автором официального «апробированного» изображения Елизаветы в качестве новой императрицы. В мае 1743 года ему был поручен ответственный заказ — исполнить четырнадцать (или восемь) портретов Елизаветы Петровны для российских посольств за границей. Участвовал в оформлении и её коронации.
Похоронен на кладбище Сампсониевского собора в Санкт-Петербурге