Ilhabela é palco de muitos naufrágios ao longo de sua história. Além do acidente que afundou o Príncipe das Astúrias, que deixou 443 mortos e 143 sobreviventes, foram contabilizados outros 22 naufrágios. Como o do brasileiro Aymoré, que retornava do Uruguai em direção à Recife e afundou em 1920. Desta vez todos puderam ser resgatados, mas a gravidade do acidente levou o navio ao fundo do mar.
Para mergulhadores mais experientes é possível realizar um tour em seus destroços. O fluxo intenso de embarcações, a grande quantidade de acidentes nos mares de Ilhabela e o extenso período em que ali funcionaram Engenhos de produção de açúcar acompanharam o surgimento de lendas dos mais diversos tipos.
Os saberes populares da região contam sobre tesouros perdidos no mar ou enterrados em meio à extensa mata que cobre a região, algo que também atrai diversos curiosos e mesmo caça-tesouros. Até o momento, no entanto, não existe nenhuma comprovação de que tenham encontrado nada muito suntuoso. Entre as histórias de piratas e corsários que cruzaram nosso litoral, existe a de Thomas Cavendish, ele foi o 3º homem na história a dar a volta ao mundo e esteve em Ilhabela por alguns dias em 1591. Pouco antes de seu ataque bem-sucedido à Vila de Santos na noite de Natal do mesmo ano. Existe uma lenda que o corsário inglês escondeu um tesouro na região que conhecemos hoje como Saco do Sombrio em Ilhabela.
