聞雞起舞劉琨年青的時候，有一個要好的朋友叫祖逖。

　　在西晉初期，他們一路在司州（治所在今洛陽東北）做主簿，晚上，兩人睡在一張床上，談論起國家大事來，常常談到深更半夜。

　　一天夜間，他們睡得正香的時候，一陣雞叫的聲音，把祖逖驚醒了。祖逖往窗外一看，天邊掛著殘月，東方還沒有發白。 祖逖不想睡了，他用腳踢踢劉琨。劉琨醒來揉揉眼睛，問是怎么回事。祖逖說：“你聽聽，這可不是壞聲音呀。它在催我們起床了。” 兩個人高高興興地起來，拿下壁上掛的劍，走出屋子，在熹微的晨光下舞起劍來。

　　就這樣，他們一路天天苦練武藝，研究兵法，終于都成為有名的將軍。

　　公元３０８年，晉懷帝任命劉琨做并州刺史。那時候，并州被匈奴兵搶奪殺掠，百姓到處逃亡。劉琨招募了一千多個兵士，冒著千難萬險，轉戰到了并州的晉陽（今山西太原市西南）。 晉陽城里，房屋被焚毀，滿地長著荊棘，到處是一片蕭疏。偶然見到一些留下來的百姓，已經餓得不像樣子了。 劉琨看到這種狀況，心里很惆悵。他命令兵士砍掉荊棘，掩埋尸體，重新把房屋城池都修復起來。他親自率領兵士守城，防備匈奴兵的襲擊。

　　他還采取計策，讓匈奴的各部落相互猜疑。

　　之后，有一萬多個匈奴人投降了劉琨，連漢主劉淵也畏懼了，不敢侵犯。 劉琨把流亡的百姓都召返來耕種荒地。

　　不到一年時間，到處可以聽到雞鳴狗叫的聲音，晉陽城逐步規復了繁榮的景象。

　　劉聰攻破洛陽過后，西晉在北方的兵力大多被打散了，只有劉琨還在并州一帶保持戰斗。晉愍帝在長安即位后，派人封劉琨為大將軍，要他統率并州的軍事。

　　那時候，漢國大將石勒，占據了襄國（在今河北邢臺西南），集結了幾十萬大軍，想奪取并州。劉琨南面有劉聰，北面有石勒，前后受敵，處境困難到了極點。可是劉琨沒有畏懼，沒有退縮。他在給晉愍帝的一份奏章里說：“臣跟劉聰、石勒，勢不兩立。如果不討平他們，臣決不回朝。”

　　據說，劉琨在晉陽的時候，有一次，晉陽被匈奴的騎兵層層包圍。晉陽城里兵力太少，沒有力量打退敵人。大家都感到驚慌，劉琨卻仍然泰然自若。到了傍晚，他登上城樓，在月光下放聲長嘯，聲調悲壯。匈奴的騎兵聽了，都伴伴隨著嘯聲嘆息。

　　半夜間，劉琨又叫人用胡笳（一種樂器）吹起匈奴人的曲調，勾起了匈奴騎兵對故鄉的吊唁，傷感得流下眼淚。天快亮的時候，城頭的笳聲又響了起來，匈奴兵竟自動跑散了。

　　之后，劉琨聯絡鮮卑族頭領一路進攻劉聰，沒有成功。接著，石勒進攻樂平（今山西昔陽西南），劉琨派兵去救，被石勒預先埋伏好的精兵打得險些全軍覆沒。正在這個時候，又傳來了長安被劉聰攻陷的新聞。到了這步田地，盡管劉琨怎樣頑強，也沒法保住并州，只好率領殘兵投奔幽州去了。