Charles-Elie Le Jolivet est arrivé à Dijon en 1728. L’année suivante, il compose de la musique pour « la feste qui fut donnée au jeu de Mrs les Chevaliers de l’Arquebuse par Monsieur le comte de Tavanes » (Divertissement sur la naissance de Monseigneur le Dauphin…, Dijon, chez A. J. B. Augé, 1729). Il avait appris le métier d’architecte à l’Académie royale d’architecture, où il participa au prix de 1722 dont le sujet était « un arc de triomphe » et dont il remporta le second prix, et avait débuté sa carrière à Orléans, où il contracta un premier mariage. Il fut nommé architecte-voyer de la ville de Dijon le 27 septembre 1742 et, le 12 novembre de la même année, architecte des Etats de Bourgogne « chargé des réparations et du contrôle des bâtiments des Etats » sous la direction de Jacques Gabriel puis de Jacques Hardouin-Mansart. Premier voyer nommé après la mort de Louis-Henri de Bourbon, il dut son élection au soutien du comte de Tavannes. Les deux fonctions qu’il a exercées jusqu’à sa mort lui assuraient un revenu estimé à 2 520 livres par an. Comme voyer, il a écrit le Toisé général à la Toise de Roi, du pavé de chaque place & rue des villes & fauxbourgs de Dijon, Dijon, De Fay, 1752 ; comme architecte, il a, entre autres, dirigé l’aménagement du bailliage de Dijon dans l’ancien hôtel Aubriot (façades de la rue des Forges et de la rue Musette) et reconstruit l’église de Pommard.
En dépit de la modestie des références connues, Charles-Elie le Jolivet a été un architecte-voyer actif et indiscutable. Ses succès dans l’architecture éphémère des fêtes et cérémonies ont abouti à des publications : citons la Description de la pompe funèbre faite dans l’église de la Sainte-Chapelle du Roi à Dijon, le 13 décembre 1740, après la mort de… Louis-Henri, duc de Bourbon, prince de Condé… gouverneur de Bourgogne, Dijon, De Fay, 1741, la Description de la fête donnée à Dijon par MM. les élus généraux des États de Bourgogne, le 27 septembre 1744, à l’occasion de l’heureuse convalescence du roi, ibid., 1744 ; L’Union d’Hebé avec Minerve ou le Jeune Daphnis, chef des bergers d’Œnotrie, pastorale heroique, avec des intermèdes en musique, qui sera representées par les écoliers du Collège de Dijon, le 20. août 1754, … , Dijon, P. de Saint, 1754 ; les Médaillons allégoriques tirés de décorations dont on a revêtu les façades, tant de l’Hôtel de ville, que ceux du Commandement et de l’Intendance à Dijon, à l’occasion du « Te Deum » chanté en actions de grâces de la victoire remportée par S. A. S. Mgr le prince de Condé, à Friedberg, le 30 aoust 1762, s. l. s. d. Il est également l’auteur des médaillons qui ornent le plan de Dijon de 1759, dit Plan Mikel. Enfin, il est le seul des architectes-voyers de Dijon à avoir exercé ses fonctions jusqu’à sa mort, le seul également qui ait conservé des liens avec ses confrères parisiens. C’est ainsi qu’en 1762 il devient le premier membre correspondant de l’Académie royale d’Architecture et pour cette raison, il fut chargé de donner des relevés de Notre-Dame de Dijon à l’appui des calculs de Soufflot pour l’édification du dôme de Sainte-Geneviève (aujourd’hui le Panthéon, notice précédente). Il devint, de fait, l’un des précurseurs reconnus du goût, alors à peine naissant, pour le gothique. Il mourut à Autun en novembre 1763.
De ses deux mariages (le second contracté à Dijon), il a eu plusieurs enfants, dont deux prénommés Charles-Joseph que l’on a parfois confondus avec lui. Son aîné, Charles-Joseph, lui a succédé dans ses charges (non sans difficultés) avant de périr sur l’échafaud en 1794.
Charles Oursel, « Charles-Elie et Charles-Joseph Le Jolivet, notes biographiques », Mémoires de la Commission des antiquités du département de la Côte-d'Or, t. 15, 1906-1910, p. LXXVIII- LXXXII ; Yves Beauvalot (Yves), « L’ancienne et la nouvelle église de Pommard », ibid., t. 28, 1972-1973, p. 191-198., ill. ; - David Moras (David), Une fonction et des hommes : inspecteurs des ouvrages publics et voyers à Dijon au XVIIIème siècle, mémoire de maîtrise, histoire de l'art, Université de Bourgogne, 1996.