Dublu campion mondial la handbal, supranumit „Mâna de aur a handbalului românesc, a început prin a practica atletismul, la 15 ani, pe când era elev la Liceul „D. Bolintineanu”.
În 1957, a fost admis la şcoala militară de ofiţeri, perioadă în care a jucat volei în campionatul oraşului Bucureşti, la echipa „Tracţiune Depou-Triaj”.
Se transferă la Clubul CCA (Steaua), la secţia de volei, participând la Campionatul Armatelor Prietene din anul 1961, desfăşurat în R. P. Mongolă.
Aici este remarcat de antrenorul emerit de handbal I. Kunst Ghermănescu, care îi propune să încerce şi acest sport. De atunci, Gheorghe Gruia avea să se dedice exclusiv handbalului.
În 1962, a fost inclus în echipa de handbal a clubului Steaua Bucureşti, alături de care urma să câştige opt titluri naţionale, între anii 1963 şi 1973.
Cu echipa militară a câştigat şi Cupa Campionilor Europeni, în 1968, devenind vicecampion european în 1971.
A făcut parte din lotul echipei naţionale de handbal a României, cu care a fost campion mondial în 1964, în Cehoslovacia, la numai doi ani după ce se apucase de acest sport.
Şase ani mai târziu, este din nou campion al lumii alături de tricolori, la Campionatul Mondial din Franţa, 1970. În cadrul turneului, a marcat 30 de goluri, iar în finala disputată împotriva Germaniei de Est şi câştigată de România cu 13-12 a punctat de patru ori.
A fost medaliat cu bronz la Jocurile Olimpice de Vară din Munchen 1972, fiind golgheter al competiţiei, cu 37 de goluri înscrise.
La Campionatul Mondial de Handbal din 1967, a câştigat bronzul, alături de reprezentativa României. Gheorghe Gruia a fost unul din principalii marcatori ai competiţiei, cu 34 de goluri, fiind considerat cel mai bun jucător al turneului.
În 1968, a făcut parte din echipa câştigătoare la Campionatele Mondiale Universitare, disputate în Germania.
Din 1973 şi până în 1978, Gheorghe Gruia a fost antrenor şi profesor la Academia de Înalte Studii Militare, cu specialitatea handbal.
Din 1978, s-a mutat în Mexic, unde a fost director tehnic al echipei naţionale de handbal a ţării, director la departamentul de sport al televiziunii Televisa, profesor universitar la Universitatea Nacional Autonoma de Mexico.
În 1992, Federaţia Internaţională de Handbal l-a numit „cel mai mare jucător de handbal al tuturor timpurilor, potrivit ihf.info.
La 14 aprilie 2014, Gheorghe Gruia a fost prezent, la Bucureşti, la reuniunea care a marcat împlinirea a 50 de ani de la titlul mondial din 1964. La eveniment au participat 25 de jucători, alături de antrenorul Niculae Nedeff.
Legendarul handbalist Gheorghe Gruia a încetat din viaţă la 9 decembrie 2015, în Mexico City, arată Agerpres.