Kitűnő fizikumú, magas hátvéd volt, tökéletes rúgó- és fejelési technikával megáldva. Az ellenfél csatárai valósággal rettegtek tőle. Az Újpest színeiben 285 bajnoki mérkőzésen szerepelt, és 32 gólt szerzett – egy kivételével mindet büntetőből. 1960-ban bajnokcsapat tagja volt.
Labdarúgó-pályafutása csúcsán a válogatottban is bemutatkozott, összesen 10 alkalommal szerepelt a nemzeti tizenegyben. Tagja volt az 1954-es világbajnokságon ezüstérmet szerzett válogatottnak is, azonban – bár a csapattal kiutazott az eseményre – egyetlen mérkőzésen sem jutott szóhoz. Az olimpiai válogatottban 9 alkalommal szerepelt, és egy gólt ért el, így tagja lehetett az 1960-as olimpián bronzérmet szerző magyar válogatottnak.
Játékospályafutásának befejezése után edző lett.
Először az újpesti utánpótlásban vállalt szerepet, majd pályaedzőként tevékenykedett. Végül 1974-ben kinevezték az Újpest vezetőedzőjének. Ekkor páratlan sikersorozat vette kezdetét. 1980-as távozásáig minden szezonban dobogón végzett a csapat, összesen 4 arany, 2 ezüst és 1 bronzérmet szerzett irányításával a gárda, és Magyar Kupát nyert 1975-ben.
Várhidi Pál minden idők legsikeresebb újpesti – és magyar – edzője lett!
225 mérkőzésen ült csapatunk kispadján és ezzel is csúcstartó Újpesten!
Közben több alkalommal is a magyar válogatott pályaedzője, a B válogatott kapitánya volt. Ahogy játékosként, úgy szakvezetőként és egész életében hűséges maradt a lila-fehér színekhez, az élvonalban csak az Újpestet trenírozta.
2009. augusztus 28-án Várhidi Pált Újpest díszpolgárává avatták.
A 73-74-es Bajnokcsapat edzóje szintén Várhidi Pál volt, Ime a csapatnévsor:
Noskó Ernő, Kellner Jenő, Nagy László, Dunai III Ede, Juhász Péter, Szentmihályi Antal, Szigeti Károly, Horváth József, Harsányi László, Fazekas László, Kollár Ede, Fekete László, Bene Ferenc, Dunai II Antal, Tóth András, Zámbó Sándor, Sarlós András