섬의 형태가 장군복을 입고 춤을 추는 거 같아 무의도(舞衣島)라 하였고, 함께 있는 섬 중 큰 섬을 대무의도, 작은 섬을 소무의도라 한다.
부근에 실미도, 소무의도, 해리도, 상엽도 등 부속도서가 산재하여 주민들은 보통 '큰 무리섬'이라고 한다.
지형은 대부분 산지이고, 서쪽 해변가에는 해식애가 발달하였다. 섬 지역에는 소나무가 군락을 이루고 있고, 남쪽의 호룡곡산에는 다양한 종류의 활엽수가 자라고 있다.
주민들은 대체로 어업과 농업을 겸하고 있으며, 지역 특산물로 포도와 청정김이 유명하다.
등산 코스가 개발된 호룡곡산, 국사봉과 하나개해수욕장과 큰무리해수욕장 등에 피서객들이 많이 찾아온다.