『潘』出自『姬』姓。以國名為氏，據《廣韻》和《元和姓纂》所載，周文王后畢公之子季孫，食邑於『潘』，其子孫以邑名為氏。
出自『羋』，以字為氏。據《通志．氏族譜》及《潘岳家譜》載，春秋時楚之公族，潘崇氏也。楚成王時任世子商臣之太師。
為鮮卑族複姓所改。據《魏書．官氏志》所載，南北朝時，北魏有代北複姓『拔略羅氏』隨魏孝文帝南遷洛陽後，定居中原，代為漢姓『潘』氏。
百家姓中，潘姓是一個有着悠久歷史的姓氏。史傳商朝時，舜的後代在潘地建立潘子國，子孫以國為氏，因舜姓姚，故稱姚姓潘國。至商朝末期，周武王滅商，將潘地封與其弟畢公高之季子季孫，他們也以潘地為姓，是為姬姓潘國。兩姓潘國由於勢弱國小，均不見於經傳。據史料記載，春秋時楚國占領潘國，封為邑，子孫以潘為姓，即羋姓潘氏。楚國公子商臣之師潘崇為羋姓潘氏之始祖，今潘氏人群主要由羋姓潘氏組成。
除此之外，賜姓為潘、外姓改潘以及少數民族被漢族同化改為潘姓，也是潘姓由來的重要途徑。
演變與發展：潘姓還有其他一些來源，如，春秋時期，潘國被楚國所滅，亡國後的潘國人就有用國名作為自己的姓氏，從此姓潘；北魏孝文帝時，遷都洛陽，把鮮卑族的破多羅氏改成了潘姓；清朝康熙年間，台灣高山族相繼歸順清朝，也被賜姓潘。潘姓早期主要在河南發展，並且逐漸向四周擴展，唐代時，已經擴展到河北，陝西等地。潘姓第一次進入廣東是在西晉年間，後又發展到湖北，江蘇，浙江。潘姓第一次進入福建是在唐代，後又遷居廣東，雲南，清朝康熙年間，潘姓第一次移居台灣。潘姓的主要聚居地有：中牟，河南，漢壽，廣宗，京兆，洛陽，杭州，江夏等。