高柔剛到曹營，雖然表現不錯，但迎接他的並不是曹操的贊許，而是曹操的殺心，曹操差點就把高柔給宰了。 事情的經過是這樣的：獻帝建安十年（西元205年），高幹在並州反叛曹操，雖然高柔沒有參與，但由於和高幹的親屬關係，曹操對高柔自然產生了猜忌和懷疑。 高柔本傳上說曹操“欲因事誅之”，也就是想找個茬把高柔殺了。 估計手下人沒有找到什麼藉口，曹操便親自出馬，在一天深夜微服出行，來找高柔。 結果看到高柔披著單衣，擁著雙膝抱著文書就睡著了。 曹操非常感動，親自把自己身上的皮裘蓋在高柔身上才離去，懷疑自然也就煙消雲散了。

在武帝曹操的手下，高柔先後擔任過菅縣（今山東單縣北）縣長、刺奸令史、丞相倉曹屬、尚書郎、丞相理曹緣、潁川太守、法曹緣等職務。 在此期間，高柔表現出其良吏的本色。

高柔剛到營縣的時候，縣裡有幾個品行不正的官吏聽說高柔上任，自動掛冠而去，生怕被高柔給懲辦了。 這時候的高柔並沒有置這些官吏於不顧，而是說：”去邴吉管理地方的時候，有的官吏犯錯，邴吉都能寬容他們。 而我剛剛上任，這些官吏在我手下還沒有出現什麼過失呢？ 把他們叫回來吧。 ”經過高柔的教誨，這些官吏深受感動，從此洗心革面，並成為佳吏。

獻帝建安十六年（西元211年），曹操派遣鍾繇進攻張魯。 高柔再一次展現了出色的形勢判斷能力，認為曹操此舉無疑是逼反涼州的馬超和韓遂，造成三輔地區局勢的混亂。 高柔建議曹操應該先安撫馬超和韓遂之後再行出兵張魯。 但是曹操沒有採納高柔的建議，派鐘繇出兵漢中，結果也正如高柔事先所預料的那樣，逼反了馬、韓等人。

高柔在武帝時期所展現的出色的能力除了以上舉出的兩個例子之外，更主要的是在曹魏的法律制度方面。 他在擔任刺奸令史之時，便以“處法允當，獄無留滯”受到曹操的稱讚，並因此得以晉職； 擔任丞相理曹緣之時，他針對重刑亡士之法的嚴酷，據理力爭，成功改變了對於宋金逃亡一案的處理。

當時，軍中鼓吹手宋金等人在合肥（今安徽合肥）逃跑。 按照當時曹魏的法律規定，出征的軍士逃亡，就要逮捕並拷問他們的妻子兒女。 但是曹操擔心這樣還不能制止逃亡，便再次加重刑罰。 宋金的母親、妻子以及兩個弟弟都被逮捕，主事官吏奏請把他們全部殺了。 高柔勸諫說：“士兵在軍隊中逃亡，確實令人擔心。 但我聽說這些人中常有後悔的。 我認為應該釋放他們的妻子兒女。 這樣一來可以使敵方不再信任他們，二來可以誘使他們產生回返之心。 按照過去的法令，就等於斷絕了他們的希望，而現在又再加重處罰，我擔心今後出征的士兵看見一人逃亡，害怕株連到自己，紛紛相隨而去。 這樣一來重刑並沒有制止逃亡，反而會助長逃亡。 ”

經過高柔的勸諫，曹操終於停止了這種嚴酷的刑罰。 高柔因此改變了曹魏的重刑亡士之法，從而挽救了很多無辜者的性命。

如果說宋金案的處理說明高柔對民間疾苦有所了解的話，那麼對盧洪、趙達等官吏以權謀私的揭發，則表現出作為曹魏大臣對於當時設置的校事制度的強烈不滿。 校事制度大約是在獻帝建安二十一年（西元216年）由曹操建立的，具備濃厚的曹氏私臣色彩，主要職責是監察百官。 高柔認為這種制度的設立不利於官員之間的團結，同時由於對校事缺乏有效的監管，造成像盧洪、趙達之類擔任校事的官員擅權，以權謀私。 曹操當時沒有聽從高柔的勸告，結果數年以後，趙達等人東窗事發，曹操殺了他們以向高柔表達歉意。

高柔在曹操時期任職十六年，能力出眾，深得曹操賞識，曹操稱讚他“清識平當，明於憲典。”