Selon une ancienne légende, dans le lointain Moyen Âge, lorsque le grand prince lituanien Olgierd, fils de Gediminas, est parti en guerre, les païens ont attaqué les moines de l'Ordre de Saint-François. Sept d'entre eux ont été impitoyablement exécutés sur la place du marché et sept ont réussi à s'échapper. Cependant, ils ont été attrapés au sommet de la montagne Góra Trzech Krzyży après quelques heures. Quatre moines ont été jetés dans la rivière, et trois ont été crucifiés sur des croix, et laissés mourir au soleil.

En mémoire des trois moines, du martyre des franciscains au début du XVIIe siècle, les frères de l'ordre ont érigé trois croix de bois sur le lieu même de l'exécution, au sommet de la montagne. Ces croix ont existé plus de cent ans, jusqu'à ce qu'en 1740 elles soient démantelées, et remplacées par des croix plus hautes et plus fortes qui se dressaient sur la montagne jusqu'en 1869. À cette époque, les terres lituaniennes étaient sous la domination de l'empire russe, qui interdisait l'installation de tout monument de sculpture sacrée chrétienne.

Peut-être que la légende des moines et des trois croix sur la montagne serait tombée dans l'oubli sans laisser de trace et que le monde ne se serait pas souvenu d'eux sans le prêtre catholique Kazimierz Michalkiewicz, qui a collecté des fonds pour un nouveau monument en béton armé durable. Le projet a été confié au talentueux sculpteur local Antoni Wiwulski, et le même prêtre Kazimierz a baptisé les croix. Et encore une fois, les croix ont été explosées sur ordre du gouvernement soviétique. Les fragments survivants ont été cachés et plus tard murés dans des croix qui s'élèvent aujourd'hui.

La longue histoire des trois croix s'est répandue dans toute la Lituanie, puis au-delà de ses frontières. Aujourd'hui, les Trois Croix sont l'une des principales attractions. Les touristes gravissent la montagne non seulement pour honorer la mémoire des Franciscains, mais pour voir ce pour quoi les habitants se sont battus pendant des siècles.