הרכבי נולד בחיפה, בנם של חיה (לבית שטמפפר) והשופט צדקיהו הרכבי. סיים לימודיו בבית הספר הריאלי, ומיד עם סיום לימודיו בתיכון, החל ללמוד פילוסופיה ולימוד המזרח באוניברסיטה העברית בירושלים. מגיל צעיר האמין שישראל צריכה להשתלב במרחב האזורי ולכן למד ערבית ותרבות ערבית. ב-1939 עזב את לימודיו באוניברסיטה כדי להצטרף לאנשי ההגנה בקיבוץ חניתה[1].
במלחמת העצמאות לחם בגזרת ירושלים כמפקד פלוגת הסטודנטים בגדוד מוריה של חטיבת עציוני. במלחמה שכל את אחיו הצעיר מאיר (איריק), שנפל בעת הניסיון לכבוש את גבעת הרדאר מידי הלגיון הירדני. במהלך ההפוגה הראשונה מונה לשמש כקצין קישור ונפגש ארבע פעמים עם המלך עבדאללה במהלך המלחמה[1].
בדצמבר 1953 מונה לסגן ראש אגף המודיעין במטכ"ל[3]. הרכבי שהה בצרפת לצורך לימודים, ובעקבות העסק הביש מונה לראש אגף המודיעין במטכ"ל במאי 1955[4]. הרכבי הוביל את איסוף המודיעין והשתתף בתכנון מבצע קדש. באוקטובר 1958 קודם לדרגת אלוף[5]. ב-1959 הודח מתפקידו בעקבות אחריותו לפרשת ליל הברווזים[6], ויצא לחופשת לימודים בארצות הברית[7].
הרכבי למד שנה וחצי באוניברסיטת הרווארד בארצות הברית לתואר שני במדיניות ציבורית, וחזר לישראל בדצמבר 1960[8]. ב-1961 הושאל למשרד החוץ[9], ובין היתר עמד בראש משלחת ישראלית לטנגניקה, שמטרתה הייתה לקשור קשרים דיפלומטיים עם המדינה שקיבלה את עצמאותה באותה עת[10]. בינואר 1962 מונה למשנה למנכ"ל משרד ראש הממשלה[11].
ב-1968 ראה אור ספרו "עמדת הערבים בסכסוך ישראל-ערב" בו הוא מציג את העמדות הערביות כלפי היהודים, הציונות, ומדינת ישראל. הרכבי מציג את תפיסתם העצמית של הערבים, לפיה "אין בעולם כולו טובים כערבים והם עם אציל", "הערבים הם הטובים שבבני אדם" וכן "הפלשתינאים עשויים ללא חת בהעדיפם את המוות", וכי הם נחושים בעמדתם נגד מדינת ישראל והעם היהודי, המתואר על ידם כעם "בעל אופי פראי וברברי, תכונות יסוד של היהודים". בספרו קורא הרכבי "לראות את המצב לאמיתו ללא כחל וסרק, בלי עיוותים שמקורם באידאולוגיות או בנחמות עצמיות ובתקוות שווא", הגם ש"עלינו לטפח בנו עיקשות הבאה מהכרה אכזרית של המצב והקשיים שבו. עם זאת לא לחסוך עמל כדי להביא ליישוב הקונפליקט תוך הבנת מגבלותינו"[15].
הרכבי הרבה להתריע שנים רבות על הסכנות הנשקפות למדינת ישראל מצד אש"ף, אך במרוצת השנים שינה את דעתו וצידד במשא ומתן עם ארגון זה.
בשנים 1976–1978 שימש כיועץ ראש הממשלה למודיעין, תחת ראשי הממשלה יצחק רבין ומנחם בגין.