Nato a jesi era figlio del duca Federico I di Svevia (1050 – 1105) e di Agnese (1072/1073 – 24 settembre 1143), figlia dell'imperatore Enrico IV. Suo fratello minore Corrado nel 1138 venne eletto re di Germania .

Dopo la morte del padre Federico gli successe come duca di Svevia. Nel 1108 partecipò alla campagna militare contro Colomanno d'Ungheria. Nel 1110-1111 accompagnò l'imperatore Enrico V a Roma per un'udienza con Papa Pasquale II. Dopo aver dimostrato la sua fedeltà all'imperatore durante i moti dell'opposizione in Germania, questi nel 1116 lo dichiarò suo rappresentante.

Nel 1120 Federico sposò la figlia del guelfo Enrico il Nero, Giuditta. Nel 1122 nacque loro un figlio: Federico I. Dalla coppia nacque anche una figlia, Berta.

Dopo la morte di Enrico V, avvenuta il 24 agosto 1125, si radunarono i grandi del regno. Il duca Federico di Svevia fu il primo come pretendente alla corona. Per motivi politici il raduno degenerò ed i Sassoni dichiararono il loro duca Lotario III come nuovo re. L'acclamazione ebbe effetto e creò un nuovo status quo. Pur riconoscendo il nuovo re in un primo momento, nell'autunno del 1125 Federico gli mosse contro. Durante una battaglia Federico perse un occhio e quindi perse anche i diritti al trono, in quanto gli mancava la necessaria integrità corporale. Nel 1135 comparve davanti al re come penitente e fu graziato.

Il duca Federico II trovò la sua ultima dimora nel monastero di Santa Valpurga in Bassa Alsazia. Suo figlio Federico gli succedette come Federico III Duca di Svevia e salì al trono tedesco nel 1152 come imperatore Federico I, detto Barbarossa.