Opa. certamente tu pode misturar varios tipos de colisao... Acho certo que tu crie varias etapas de colisao, principalmente pra evitar calculo pesado, por exemplo, para precisao realista tu vai fazer colisao por poligonos/ pixels, mas para saber se tu realmente quer calcular isso tu utiliza uma aabb ( axis-aligned bounding box - um retangulo de colisao sempre alinhado aos eixos xy ), o que te faz desnescessario calcular colisao por pixel/poligono p/ cada objeto.
A biblioteca de fisica  FarseerPhysics suporta colisao por poligonos, bem como outras primitivas como caixas/circulos, etc... ela tem um metodo que tu passa a tua textura e ela cria uma lista de vertices com colisao "perfeita" dos teus objetos. Ela implementa tambem tecnicas de fases de colisao, com Grid, aabb, etc...
Se tu quiser implementar isso na mao, te aconselho a dar uma olhada no codigo dessa lib...

E para a colisao do teu personagem por exemplo, acho que e meio desnescessario colisao por pixels, uma caixa representando a area de colisao dele custa bem menos e tem o mesmo efeito, dependendo do gameplay.