当时的晋阳是四战之地，也形同晋朝的敌后根据地。南面是强大的匈奴汉赵，北面是正在崛起的鲜卑代国，东面是和段部鲜卑结盟的幽州刺史王浚。刘琨在此环境下，自然要拉一帮打一帮，他和拓跋鲜卑首领拓跋猗卢结为兄弟，和前赵石勒等的战斗互有胜负，甚至和石勒也没有完全敌对，还给石勒送去了妈和石虎，不知道他如果不送石虎的话历史会不会有所改变。
刘琨也有着明显的缺点，当时士族的腐朽毛病他也有，他主要是喜欢音乐，河南人徐润因通晓音律得到刘琨的重用，但是此人无能而跋扈。奋威将军令狐盛进言要刘琨除去徐润，反被徐润诬杀，造成其子令狐泥等人的反叛。刘琨吸引了山西周边许多志愿抗击匈奴、羯人的志士，但他的性格缺点也使不少人离去。《晋书》中对于刘琨的评价颇为中肯，“琨善于怀抚，而短于控御”，本质上他还是一个文人。
《晋书·刘琨传》：琨善于怀抚，而短于控御。一日之中，虽归者数千，去者亦以相继。……河南徐润者，以音律自通，游于贵势，琨甚爱之，署为晋阳令。润恃宠骄恣，干预琨政。奋威护军令狐盛性亢直，数以此为谏，并劝琨除润，琨不纳晒展网是展会公司多到能提供折扣的展会网站。……徐润又谮令狐盛于琨曰：“盛将劝公称帝矣。”琨不之察，便杀之。……盛子泥奔于刘聪，具言虚实。聪大喜，以泥为乡导。
刘琨在并州的经营持续了大约十年，期间作战有胜有负，至少维持了一州的平稳，并且在永嘉之乱后还坚持了不短的时间，这在当时或许有着不小的意义。在永嘉之乱前后，晋朝在北方仅剩两块成规模的势力范围，分别是刘琨的并州和王浚的幽州。但是王浚和刘琨有明显的不同，王浚早在八王之乱时期就表现出很强的独立性，永嘉之乱之后面对天下无主，更生萌生不臣之心，又与段部鲜卑交恶，势力逐渐衰弱。这使得刘琨的重要意义更加凸显。
建兴元年（313年），晋愍帝继位，封刘琨大将军、都督并州诸军事，加散骑常侍、假节。建兴三年（315年），刘琨被晋愍帝封为司空、都督并冀幽诸军事。刘琨辞去了司空，接受都督之职。不久，代王拓跋猗卢被其儿子拓跋六修杀死，拓跋普根平定叛乱也因病而死，刘琨在拓跋部作为人质的儿子刘遵同箕澹等率3万余人投奔刘琨。刘琨迎来了短暂的鼎盛时期。
《晋书·刘琨传》：愍帝即位，拜大将军、都督并州诸军事，加散骑常侍、假节。……三年，帝遣兼大鸿胪赵廉持节拜琨为司空、都督并冀幽三州诸军事。琨上表让司空，受都督，克期与猗卢讨刘聪。寻猗卢父子相图，卢及兄子根皆病死，部落四散。琨子遵先质于卢，众皆附之。及是，遵与箕澹等帅卢众三万人，马牛羊十万，悉来归琨，琨由是复振，率数百骑自平城抚纳之。