פרופ' חגי בן-שמאי החל את לימודיו באוניברסיטה העברית בירושלים, שבה למד לתואר ראשון בשפה וספרות ערבית והיסטוריה של ארצות האסלאם. במהלך התואר השני התמחה בן-שמאי בערבית ושפות שמיות. הוא הגיש את עבודת הדוקטורט שלו בשנת 1978, וכותרתה "שיטות המחשבה הדתיות של אבו יוסף יעקוב אלקרקסאני ויפת בן עלי".

עם השלמת התואר השלישי שימש בן-שמאי כמרצה בחוג לשפה וספרות ערבית באוניברסיטה העברית, ובשנת 1994 התמנה לפרופסור מן המניין באוניברסיטה העברית. פועלו האקדמי נסב סביב מחקר פילולוגי של פרשנות המקרא וההגות של הקראים, כמו גם בכתביו של רב סעדיה גאון, תוך הצגת חידושים רבים בתחומים אלה.

בן-שמאי תרם תרומות נכבדות ביותר לחקר יצירתו ופועלו של רב סעדיה גאון. כמו כן הוא תרם רבות למוסדות מחקר הקשורים למורשת יהודי המזרח. כך, נמנה בן שמאי עם מייסדי החברה לחקר הערבית-יהודית (1984), ניהל את "המפעל לחקר התרבות הערבית-היהודית וספרותה" במכון בן-צבי, ואף שימש כראש המכון בשנים 2003-1996. אחרי פרישתו לגמלאות מן האוניברסיטה העברית (2007) , שימש בן-שמאי כמנהלה האקדמי של הספרייה הלאומית בירושלים (2015-2009).