Joseph Pichou dit Charmant, fils d'un artisan serrurier possédant une laverie industrielle sur le Tillet, s'établit au bord du lac avant 1882, donc avant la création du port de Cornin (qui deviendra ensuite port de plaisance, le Petit Port).
A l'époque, les bateliers embarquaient les touristes sur la grève le long du Tillet pour des promenades sur le lac et notamment des traversées jusqu’à l’abbaye d’Hautecombe.
Il fait construire une auberge, exploitée sous l’appellation "Petit Charmant" (la maison voisine sis 181), ainsi qu’une petite maison attenante (sis 183).
L’hôtel et bar de « La Marine » seront en activité quelques années avant que l’établissement ne ferme ses portes durant la seconde guerre mondiale avant de ne les réouvrir qu’en 1958.
En 1970, son fils Roger récupère l’affaire familiale et ferme la partie hotellière pour se consacrer à une activité de Bar-brasserie avec « Le Café Aix Plage »,ouvert jusqu’en 2002.
Vers 1917, il cède l'affaire à son gendre, Jean Vuillermet, également batelier. La fille de ce dernier, Marie, épouse Victor Besson qui s'était établi comme batelier au Petit Port vers 1924, et hérite d’une partie de son terrain ainsi que de la petite maison.
C'est lui, Victor, qui fait construire l’hôtel particulier en 1936 par l'architecte Alexandre Maire, en lieu et place de l’ancienne petite maison.
Racheté en 2022, l’établissement fait peau neuve et, après une réfection de grande envergure intérieure comme extérieure, réouvre ses portes aux client en 2024 sous l’appellation « La Maison du Petit Port ».