Nieduża terytorialnie diecezja żmudzka została założona z inicjatywy Władysława Jagiełły i ksiecia Witolda w 1417 r. przez arcybiskupa lwowskiego Jana Rzeszowskiego. Oficjalnej erekcji dokonał papieża Marcina V w dniu 11 września 1421 r. bullą Mirabilis Deus in donis i włączył ją do metropolii gnieźnieńskiej. Obejmowała ona początkowo całą Żmudź. Jej zachodnia granica dotykała Bałtyku, północna pokrywała się z granicą między Litwą a Kurlandią i Semigalią, na południu stykała się z pruską diecezją sambijską i z diecezją wileńską, na wschodzie z wileńską. Granica z tą ostatnią przez dłuższy czas była płynna, przesuwana przez biskupów wileńskich na zachód ze szkodą diecezji żmudzkiej. Ostatecznie ustaliła się od rzeki Aa na północy do zbiegu rzek Wilii i Niemna, z tym że Kowno zostało po stronie wileńskiej. Po sprotestantyzowaniu diecezji kurlandzkiej w XVI w. biskupi żmudzcy wykonywali od 1638-1685 r. jurysdykcję nad katolikami tej diecezji, tzn. dopóki nie oddano jej biskupom inflanckim.

W XV w, diecezja żmudzka liczyła 18 parafii i 1 filię, w XVI w. – 43 parafii i 5 filii; w 1645 r. – 80 parafii i 11 filii. W 1752 r., według relacji którą ówczesny biskup żmudzki, A. D. Tyszkiewicz przesłał do Rzymu, w skład diecezji wchodziło 10 dekanatów, 5 prepozytur szpitalnych, 96 parafii, 34 filie 32 kapelanie i 6 kaplic publicznych. Liczbę katolików oceniał biskup na 218 909, do tego zmieszkiwało teren biskupstwa 1626 luteran 23 kalwinistów, 67 prawosławnych, 164 żydów oraz 3 apostatów. W drugiej połowie XVIII w. biskupstwo było podzielone na 10 dekanatów.

Uposażenie biskupów było słabe. Przeciętny roczny dochód wynosił w XVII-XVIII w. 5.000 dukatów rzymskich. W tym samym czasie dochody biskupa wileńskiego szacowano na 9.000, a biskupa krakowskiego. na 56.000 dukatów rzymskich. Na 33 biskupów w latach 1417-l778 – 4 przeniosło się na biskupstwo wileńskie 1 na łuckie ale też 6-ciu przyszło na Żmudź z innych jeszcze uboższych biskupstw: 1 z Kijowa, 4 ze Smoleńska i 1 z Inflant.