新中國成立之后，盡管中國派出代表團(tuán)首次參加了1952年赫爾辛基奧運(yùn)會，但是在奧運(yùn)會上還是出現(xiàn)了“一中一臺”兩個中國的問題，為此，中國奧委會向國際奧委會發(fā)出抗議，要求解決這一問題。
1955年6月，當(dāng)時的中國奧委會副主席和秘書長榮高棠在國際奧運(yùn)會執(zhí)委會與各國奧委會聯(lián)席會議上，正式向國際奧委會提出，允許臺灣在國際奧委會中擁有合法地位是在搞“兩個中國”，這是違法的，但是布倫戴奇卻以“這是政治問題”為由，沒有對中國的抗議進(jìn)行任何表態(tài)。
    與此同時，中國奧委會開始了第16屆奧運(yùn)會的備戰(zhàn)工作，并向臺灣發(fā)函，表示愿意提供一切幫助，希望臺灣選派優(yōu)秀的運(yùn)動員來北京集訓(xùn)，以組建統(tǒng)一的代表團(tuán)參加比賽。
    而國際奧委會依然在文件中不斷使用“中國北京”的字樣，更有甚者，布倫戴奇在給中國國際奧委會委員董守義的信中，竟然說臺灣“不是中國的領(lǐng)土”。在國際奧委會的支持下，包括國際足聯(lián)、國際田聯(lián)、國際舉聯(lián)、國際泳聯(lián)、國際籃聯(lián)、國際射聯(lián)、國際自聯(lián)和國際摔聯(lián)在內(nèi)的國際單項體育聯(lián)合會也承認(rèn)了臺灣所謂的合法地位。
    為了維護(hù)中國領(lǐng)土的統(tǒng)一和完整，中國奧委會于1958年8月19日宣布斷絕與國際奧委會的關(guān)系，并從1958年6月至8月間，先后退出了15個國際單項體育組織。當(dāng)時的中國國際奧委會委員董守義毅然辭去了國際奧委會委員的職務(wù)。
    在以后的20余年里，中國都無法參加許多國際體育比賽。為了打破這層堅冰，中國團(tuán)結(jié)第三世界的體育力量，開始了漫長的破冰之路。第一個突破是在1962年夏天。印度尼西亞舉辦第四屆亞運(yùn)會，拒絕了臺灣以中華奧委會的名義參加。為此，一些國際單項體育聯(lián)合會取消了印度尼西亞的會員資格，禁止其參加奧運(yùn)會。面對這樣的現(xiàn)實(shí)，印度尼西亞總統(tǒng)蘇加諾提議，舉辦新興力量運(yùn)動（GANEFO）。第一屆新興力量運(yùn)動會于1962年9月在雅加達(dá)舉行，來自亞洲、非洲、拉丁美洲和歐洲的48個國家和地區(qū)的2404名運(yùn)動員參加比賽，中國派出了一支新中國歷史上最大的體育代表團(tuán)參加比賽。在本次運(yùn)動會上，創(chuàng)造了幾項世界紀(jì)錄。之后，在1966年11月，首屆亞洲新興力量運(yùn)動會舉行，此外，中國也承辦了幾個單項的新興力量運(yùn)動會。
    第二個突破口是被廣為流傳“乒乓外交”。由于文革，中國沒有參加第29屆和第30屆世界乒乓球錦標(biāo)賽，中國在亞洲乒乓球聯(lián)合會的位置被臺灣占有。1972年在中國、日本和朝鮮乒乓球協(xié)會的支持下，一個名叫“亞洲乒乓球聯(lián)盟”的機(jī)構(gòu)成立，在其中中華中華人民共和國擁有合法的席位。這是在“兩個中國”的斗爭中，中國贏得的又一大勝利。
    此時，新中國與美國的關(guān)系也在逐步地改善。1970年10月25日，美國總統(tǒng)尼克松通過巴基斯坦總統(tǒng)齊亞.哈克向中國領(lǐng)導(dǎo)人表達(dá)愿意與中國方面私下接觸的愿望，并在不久后的一次外交宴會上，第一次稱中國為“中華人民共和國”。到了1971年，中國已經(jīng)在考慮如何與美國改善關(guān)系。那么，以什么作為最好的媒介呢？
    正好第31屆世界乒乓球錦標(biāo)賽將于1971年3月28日—4月7日 在名古屋舉行，于是中國有關(guān)領(lǐng)導(dǎo)人想到以此為契機(jī)。3月11日，由周恩來總理親自主持，有外交部和國家體育運(yùn)動委員會代表出席的特別會議舉行，會議上指出，盡管中國與日本還沒有建交，但是我們可以派出代表團(tuán)參加比賽。在名古屋,美國乒乓球運(yùn)動員與中國運(yùn)動員互相交換紀(jì)念品，而雙方官員之間更是進(jìn)行了充分的溝通。美國運(yùn)動員表示，非常希望能夠訪問中國。這一些情況都直接反饋給了毛澤東主席。當(dāng)本屆世界錦標(biāo)賽結(jié)束時，毛澤東主席決定立即邀請美國乒乓球隊來北京訪問。
    4月17日，周恩來總理親自在人民大會堂接見了來自美國、加拿大、哥倫比亞和尼日利亞的乒乓球運(yùn)動員。就這樣，乒乓球和體育為中美最后建交拉開了序幕，也為中國最后成功重返奧運(yùn)會大家庭打下了基礎(chǔ)。
    作為“乒乓外交”的碩果，1972年中國恢復(fù)了在聯(lián)合國中的合法席位。同年，國際奧委會迎來了一位新主席、愛爾蘭人基拉寧。國際奧委會意識到，應(yīng)該盡快恢復(fù)中華人民共和國最新國際奧委會的合法地位，就必須解決臺灣問題?；瓕幒蛧H奧委會副主席薩馬蘭奇在1977年9月和1978年4月兩次訪問中國，對中國政府加深了了解。1979年，中國奧委會向國際奧委會正式提出關(guān)于解決中國合法席位的的建議。這一建議得到了包括國際奧委會主席基拉寧在內(nèi)的大多數(shù)人的贊同。同年11月，國際奧委會以通訊表決方式讓國際奧委會全體委員投票，結(jié)果以62票贊成，17票反對，2票棄權(quán)通過了國際奧委會執(zhí)委會于10月25日在日本名古屋做出的有關(guān)恢復(fù)中華人民共和國在國際奧委會合法席位的決議。這一著名的名古屋決議指出：中國奧委會在參加奧運(yùn)會時使用中華人民共和國的國旗和國歌，同時允許臺灣作為我國的一個地方性組織在國際體育組織中占有席位，以“中國臺北奧林匹克委員會”出現(xiàn)。
    國際奧委會的這一決定，最終掃清了中國重返奧林匹克大家庭的障礙。從此，中國奧委會與國際奧委會建立了良好的、密切的合作關(guān)系。
    中國在1979年重返奧運(yùn)大家庭之后，就開始積極備戰(zhàn)奧運(yùn)會。
    1980年2月，在國際奧委會中恢復(fù)席位的中國體育代表團(tuán)首次出現(xiàn)在奧運(yùn)會賽場上——參加了第13屆冬季奧運(yùn)會。
    1984年，第23屆奧運(yùn)會在美國洛杉磯舉行。中國有史以來第一次派出大型代表團(tuán)參加這項體壇盛事。開賽第一天，射擊選手許海峰在男子自選手槍慢射比賽中勇奪得冠軍，從而實(shí)現(xiàn)了中國在奧運(yùn)會歷史上零的突破。而在2002年鹽湖城冬奧會上，中國女選手楊揚(yáng)又為中國隊實(shí)現(xiàn)了在冬季奧運(yùn)會上金牌零的突破。
    中國運(yùn)動員在奧運(yùn)賽場上的出色發(fā)揮，證明了我國競技體育的實(shí)力和水平。從1979年恢復(fù)席位以來到2003年，中國體育健兒已經(jīng)參加了5屆夏季奧運(yùn)會，獲得了80枚金牌、79枚銀牌和64枚銅牌。中國還參加了7屆冬季奧運(yùn)會，一共贏得了2枚金牌，12枚銀牌和8枚銅牌?，F(xiàn)在，中國體育健兒的目光緊緊盯著將于2004年8月在希臘雅典舉辦的第28屆奧運(yùn)會，希望中國的五星紅旗可以更多次地飄揚(yáng)在雅典的體育場館上空。
    在新中國體育健兒揚(yáng)威奧運(yùn)會賽場的同時，有三名中國人先后當(dāng)選了國際奧委會委員。1981年中國的體育領(lǐng)導(dǎo)人何振梁當(dāng)選為國際奧委會委員，他還于1989-1993年擔(dān)任國際奧委會副主席，并多次擔(dān)任執(zhí)委。1996年當(dāng)時的國際羽毛球聯(lián)合會主席呂圣榮也以國際單項體育聯(lián)合會主席的身份當(dāng)選為中國第一位國際奧委會女委員。2000年國家體育總局副局長于再清以國家奧委會主席的身份當(dāng)選為國際奧委會委員，成為中國活躍在國際奧委會舞臺上的又一中堅力量。
    中國重返奧運(yùn)大家庭，參加奧運(yùn)會和將舉辦2008年奧運(yùn)會，標(biāo)志著新中國體育的又一次騰飛，同時也為奧林匹克運(yùn)動注入了新的活力。