E qual é a pergunta ? : )

Não dá pra dizer o que está acontecendo no teu código ( por simplesmente não ter nenhum trecho de código muito menos uma pista do que tu tá fazendo ) , além de estar explícitamente marcado de vermelho que tu está entupindo a memória, por algum engano do tipo preencher listas a cada chamada do Update/Draw , sem remover elas depois ou coisas do gênero.

O garbage collector não faz mágica a ponto de simplesmente saber quais referências tu não quer mais / fazer dispose :D