One should keep quiet and listen while the Imam is delivering the Khutba
حَدَّثَنَا يَحْيَى بْنُ بُكَيْرٍ، قَالَ حَدَّثَنَا اللَّيْثُ، عَنْ عُقَيْلٍ، عَنِ ابْنِ شِهَابٍ، قَالَ أَخْبَرَنِي سَعِيدُ بْنُ الْمُسَيَّبِ، أَنَّ أَبَا هُرَيْرَةَ، أَخْبَرَهُ أَنَّ رَسُولَ اللَّهِ صلى الله عليه وسلم قَالَ " إِذَا قُلْتَ لِصَاحِبِكَ يَوْمَ الْجُمُعَةِ أَنْصِتْ. وَالإِمَامُ يَخْطُبُ فَقَدْ لَغَوْتَ ".
Narrated Abu Huraira: Allah's Messenger (p.b.u.h) said, "When the Imam is delivering the Khutba, and you ask your companion to keep quiet and listen, then no doubt you have done an evil act."