元諧的家族非常的顯貴，在早年與楊堅(jiān)在北周朝廷主辦的最高學(xué)府國(guó)子學(xué)中共同學(xué)習(xí)。后來(lái)二人仕途都很順利，元諧擔(dān)任北周大將軍，楊堅(jiān)升任北周丞相，兩人雖然一文一武，但關(guān)系十分親密。581年二月，獨(dú)攬大權(quán)的楊堅(jiān)廢掉周靜帝，改國(guó)號(hào)為隋，是為隋文帝。元諧因?yàn)樵跅顖?jiān)登基時(shí)助有一臂之力，升任上大將軍，封樂安郡公，食邑千戶。