The obligation of fulfilling oaths of allegiance is owed to the first of two Caliphs
وَحَدَّثَنِي مُحَمَّدُ بْنُ رَافِعٍ، حَدَّثَنَا أَبُو الْمُنْذِرِ، إِسْمَاعِيلُ بْنُ عُمَرَ حَدَّثَنَا يُونُسُ بْنُ، أَبِي إِسْحَاقَ الْهَمْدَانِيُّ حَدَّثَنَا عَبْدُ اللَّهِ بْنُ أَبِي السَّفَرِ، عَنْ عَامِرٍ، عَنْ عَبْدِ الرَّحْمَنِ بْنِ عَبْدِ، رَبِّ الْكَعْبَةِ الصَّائِدِيِّ قَالَ رَأَيْتُ جَمَاعَةً عِنْدَ الْكَعْبَةِ . فَذَكَرَ نَحْوَ حَدِيثِ الأَعْمَشِ .
It has been narrated on the authority of 'Abd Rabb al-Ka'ba as-Sa'idl who said: I saw a group of people near the Ka'ba.... Then he narrated the tradition as narrated by A'mash.