Histoire :
Bien qu'aucune preuve tangible ne puisse en attester, il est fort probable que le pic rocheux surplombant la Sarthe était déjà occupé à l'époque romaine. Au VIème siècle, on note la présence d'une dizaine de familles sur le site nommé Fraxinidum.
L'histoire de la ville ne commence réellement qu'avec la construction du château, qui semble avoir vraisemblablement débuté aux environ du Xè siècle (peut-être au IXè), sous le règne de Charles le Chauve. On en retrouve mention expresse dans un acte daté du 12 octobre 997, première année du règne de Robert le Pieux. La forteresse était, entre autres, destinée à assurer la protection du passage de la rivière.
Guillaume le Conquérant s'en empara par deux fois : une première fois en 1063, puis de nouveau en 1073. Le jeune Robert de Bellême, qui s'était particulièrement distingué au cours du siège, y fut d'ailleurs armé chevalier de la propre main de Guillaume.
En 1100, Henri 1er rattache le Maine à l'Anjou. Le château fait alors partie d'une ligne de forteresses destinées à protéger le Maine contre les attaques des Normands, et la ville se trouve placée sous la tutelle du Vicomte de Beaumont. Elle s'appelait alors Fresnay-le-Vicomte. Après avoir subi plusieurs autres sièges, la ville ne retrouva un peu de calme qu'au début du XIVè siècle. Cette période de répit favorisa, notamment, l'essor de l'agriculture.
L'importance stratégique du château de Fresnay se fit particulièrement sentir durant la guerre de Cent ans. Il fut successivement occupé par les aventuriers de Philippe de la Chèze, en 1356, puis pris par les troupes anglaises de Henri V, en 1417 pour enfin revenir aux français grâce à Ambroise de Loré, futur compagnon d'armes de Jeanne d'Arc, qui fut capitaine du château en 1418 et qui deviendra plus tard, en 1436, prévôt de Paris.
En 1420, la ville fut de nouveau reprise par les Anglais qui l'occupèrent durant trente ans (1420-1450). Marquée profondément par la guerre de Cent Ans, elle eut encore à souffrir des guerres de Religion; en 1652, elle fut pillée par les Huguenots. Dès lors, la fortification et le château tombèrent progressivement en ruines.
Du début du XVIIè siècle jusqu'à la fin du XIXè siècle, le commerce du chanvre pour la confection de la toile (très utilisée pour les voiles des bateaux) prend une expansion économique considérable; de nouveaux quartiers se forment à la périphérie de la ville : le Bourg-Neuf et le Creusot. Il subsiste encore aujourd'hui de nombreuses maisons des tisserands qui ont façonné ces quartiers. En 1793, le vieux pont de bois est remplacé par un pont de pierre.
Pendant le XXè siècle, les entreprises d'électroménager et d'industrie agro-alimentaire relayent les ateliers de tissage.
Selon les données du dernier recencement (1999), la ville compte aujourd'hui 2 363 habitants (les Fresnois), et elle est le chef-lieu d'un canton de douze communes, qui sont maintenant regroupées en une Communauté des communes des Alpes mancelles, ce qui porte à 8 000 le nombre total d'habitants dans le canton.