If a man is invited, that is considered permission to enter
حَدَّثَنَا حُسَيْنُ بْنُ مُعَاذٍ، حَدَّثَنَا عَبْدُ الأَعْلَى، حَدَّثَنَا سَعِيدٌ، عَنْ قَتَادَةَ، عَنْ أَبِي رَافِعٍ، عَنْ أَبِي هُرَيْرَةَ، أَنَّ رَسُولَ اللَّهِ صلى الله عليه وسلم قَالَ " إِذَا دُعِيَ أَحَدُكُمْ إِلَى طَعَامٍ فَجَاءَ مَعَ الرَّسُولِ فَإِنَّ ذَلِكَ لَهُ إِذْنٌ " . قَالَ أَبُو عَلِيٍّ اللُّؤْلُؤِيُّ سَمِعْتُ أَبَا دَاوُدَ يَقُولُ قَتَادَةُ لَمْ يَسْمَعْ مِنْ أَبِي رَافِعٍ شَيْئًا .
Narrated AbuHurayrah: The Prophet (ﷺ) said: When one of you is invited to take meals and comes along with the messenger, that serves as permission for him to enter. Abu 'Ali al-Lu'lu said: I heard Abu Dawud say: Qatadah did not hear anything from Abu Rafi'.