Cómo pasar de una página a otra utilizando un selector dinámico

Hola ! Gracias de antemano por la ayuda que a través de este foro estáis ofreciendo.Por favor, necesito saber cómo puedo hacer que mi robot una vez que consulte los datos de la página 1 continúe hasta el final del documento web