در زمانی که پرتغالی ها تسلط بر خلیج فارس و منطقه داشته اند، لنگر گاهی در کنگ ساخته بودند که کشتی های بزرگشان در آن لنگر می انداختند، همچنین قلعه ی بزرگی ساخته بودند که مقر حکومت آنها بود، آثار این قلعه در کنار دریا باقی مانده است. وقتی که آب دریا مد می یابد آب اطراف بقایای این قلعه را فرا می گیرد، اما وقتی که آب دریا در حالت جزر است قسمت بزرگی از قلعه نمایان می شود، این قلعه نزد مردم کنگ به قلعه ی پرتغالی ها معروف است. در غرب بندر کنگ ودر فاصله 45 متری برج مدور دو ستون از سنگ و ساروج به فاصله ی 24 متر از یکدیگر وجود دارد که آثار باقیمانده از یک قلعه بزرگ و قدیمی است. ارتفاع یکی از پایه ها از سطح زمین 8 متر و دیگری 3 متر است، هر دو ستون از سطح دریا حدود 2 تا 3 متر بالاتر ساخته شده اند. قسمت چسبیده به خاک هر دو ستون بر اثر مرور زمان باریک شده است و احتمال می رود تا چند سال دیگر خراب شوند. این طور که پیداست این دو ستون دو پایه جلوئی و یا قسمتی از یک قلعه عظیم بوده و حتما در بزرگی هم در بین این دو قرار داشته است.
در جلد دوم کتاب سمینار خلیج فارس همچنین درمورد اقامت پرتغالی ها در بندرکنگ نوشته اند: پس ازسقوط هرمز، چون پرتغالی ها از پس گرفتن آن جزیره به کلی مایوس شدند، با شاه عباس از در دوستی در آمدند و از آنچه در سواحل ایران داشتند رسماً چشم پوشیده و در عوض اجازه گرفتند در بندرکنگ که در هفت کیلومتری شمال شرقی بندرلنگه واقع بود قلعه و تجارتخانه ای بسازند و در بحرین به صید مروارید بپردازند.آنچه معلوم است این ساختمان در گذشته قلعه مستحکمی بوده و در سفرنامه ها و کتب از آن یاد شده و بی شک محل گمرک و بارانداز و تجارتخانه پرتغالیان و هلندیان بوده و بازمانده قلعه پرتغالی است. بنابراین قلعه ی پرتغالی ها بر خلاف دیگر قلعه های موجود در جنوب ایران مثل قلعه ی پرتغالی های قشم و هرمز کاربری نظامی نداشته و برای امور تجاری مورد استفاده قرار می گرفته است.
