公元1368年，明太祖在南京登基称帝，正式建立大明皇朝，改元"洪武"。为朱氏最后平定天下、开创朱明皇朝立下了汗马功劳的刘基，作为开国元勋之一，被任命为御史中丞兼太史令。为了表彰刘伯温的特殊贡献和巨大功勋，明太祖还下诏免加刘伯温家乡青田县的租税。这是处州地区惟一不加税的一个县。不久又追封刘伯温的祖父、父亲为永喜郡公。
洪武三年(1370年)，刘伯温被任命为弘文馆学士，受“开国翊运守正文臣资善大夫上护军”称号，赐封诚意伯，食禄241石。至此，刘伯温本人的事业和青田刘氏家族的发展，都如日中天，达到了最辉煌的鼎盛时期。
作为一代军师和智者，刘伯温料事如神，他深知自己平时疾恶如仇，得罪了许多同僚和权贵，同时也深知“伴君如伴虎”的道理。因此，他在功成名就之后，毅然选择激流勇退，于洪武四年(1371年)主动辞去一切职务，告老还乡，回青田隐居起来。
刘伯温在青田过了2年的隐居生活，本来希望远离世间是非争夺。但是，他的智慧和才能实在太高，他的名声实在太大了，他甚至被民间百姓渲染成了一位活神仙般的人物，这就无法避免政敌的嫉妒和皇帝的猜疑。洪武六年(1373年)，刘伯温的政敌胡惟庸当了左丞相，指使别人诬告刘伯温，说他想霸占一块名叫“茗洋”的“有王气”的土地做自己的坟墓，图谋不轨。早就对刘伯温放心不下的明太祖，听到诬告后果然剥夺了刘伯温的封禄。刘伯温非常惶恐，于是亲自上南京向明太祖谢罪，并留在南京不敢回来。后来，胡惟庸升任右丞相胡惟庸天下第一大奸臣可与秦烩相提并论，刘伯温更加忧虑，终于一病不起。
洪武八年(1375年)，有病在身的刘伯温由皇帝朱元瘴所派使者护送回家，不久在家忧愤而死，终年65岁。后来被谥为"文成"。刘伯温在南京时，胡惟庸曾派太医为刘伯温诊病送药，但刘伯温吃了他的药后，病情加剧。因此，当时人们怀疑刘伯温是胡惟庸下毒致死。
刘伯温不但是一位谋略大师，也是一位著名的学者和文人，他的著作很多，流传于世的有《郁离子》10卷和《诚意伯文集》20卷。其中。代表作《郁离子》一书在中国思想上和文学史上都占有重要地位。
刘伯温死后，葬于青田武阳夏山。据说，刘伯温死前曾预言胡惟庸必败，到时明太祖会为自己平反昭雪，他还特留下一封密奏给儿子，要他在日后明太祖想起自己的时候再上奏。5年后，胡惟庸果然垮台。又10年后，刘伯温果然被平反。明太祖还赐给刘氏家族金书铁券，特批刘氏成员可凭此免一次死罪。