Muzeum mieści się w jednej z sal Klasztoru Podominikańskiego w Sejnach, potocznie nazywanej skarbcem. Ekspozycja dokumentuje ciekawą część sejneńskiej historii – działalność seminarium oraz sylwetki biskupów. Do ciekawszych eksponatów należą pochodzące z połowy XIX wieku księgi liturgiczne, piękne zdobione monstrancje, feretrony (obraz religijny w ozdobnych ramach), rokokowe krzyże, Wotum Karola Wojtyły, dary od parafian dla Biskupów (własnoręcznie wykonane), ornaty, kielichy mszalne czy historyczne dokumenty, biskupie pieczęcie. Wystawę urozmaicają fotografie przydrożnych kapliczek z regionu oraz obrazy (w tym bp obojga narodów Antoniego Baranowskiego, matematyka, twórcy gramatyki litewskiej, językoznawcy, pety często porównywanego do Mickiewicza ze względu na „Borek Oniksztyński”, należący do klasyki literatury litewskiej, opisujący piękno litewskiej przyrody a także bolesny los Litwinów). Na bazie wystawy opracowane zostały scenariusze lekcji muzealnych.
Diecezja augustowska, czyli sejneńska istniała w latach 1818-1925. W momencie utworzenia liczyła 361 tysięcy wiernych. Obejmowała swoim zasięgiem terytorium ówczesnego województwa augustowskiego (oprócz obecnej Suwalszczyzny w jej skład wchodziły m.in. powiat łomżyński, mariampolski, kalwaryjski). Po odzyskaniu przez Polskę niepodległości w 1918 roku diecezja została podzielona na część polską i litewską. Ostatecznie jednak zlikwidowano ją w 1925 roku. Część polską włączono do diecezji łomżyńskiej.
Sejneńskie Muzeum Diecezjalne powstało dzięki staraniom Burmistrza Miasta Sejny, Sejneńskiego Towarzystwa Opieki nad Zabytkami oraz Parafii Sejneńskiej. Inicjatywę wsparł finansowo również Urząd Marszałkowskie.