În scurt timp a fost arestat şi judecat în procesul privind Banca Agrară din Cluj, bancă ce aparţinuse P.N.Ţ. şi unde Silviu Dragomir a deţinut funcţia de membru în Consiliul de Administraţie. La 1 decembrie 1948 a fost condamnat la 6 luni de închisoare, pedeapsă majorată ulterior la 1 an şi 6 luni.
A fost închis în penitenciarul din Caransebeş, după care în mai 1950 a fost dus la Sighet, fiind reţinut în continuareca fost ministru în guvernele „burghezo-moşiereşti!. Toate persoanele deţinute la Sighet din acest lot au fost închise fără nici o judecată, pe baza unei simple decizii a Securităţii.
De asemenea, a fost condamnată la închisoare şi soţia sa. La Sighet, Silviu Dragomir a împărţit celula cu un alt mare istoric, Ştefan Meteş. A fost eliberat de la Sighet în iulie 1955, cu ocazia amnistiilor politice din acea perioadă.
A reintrat în atenția Securității
După eliberarea din penitenciar s-a reîntors la Cluj, fiind lipsit o vreme de pensie şi mai ales de locuinţă, care îi fusese naţionalizată. A reuşit totuşi să obţină, se pare cu ajutorul lui Constantin Daicoviciu, un apartament în cadrul clădirii Institutului de Istorie al Academiei din Cluj, iar din 1957 şi-a recăpătat şi pensia. Tot din această perioadă a început să muncească în cadrul Institutului, fiind încadrat pe post de colaborator extern.
Imediat după eliberarea din penitenciar, Silviu Dragomir a reintrat în atenţia Securităţii, fiind obţinute mai multe note informative referitoare la istoric, ofiţerii fiind derutaţi o perioadă deoarece nu ştiau unde locuieşte acesta.
