웹사이트 expand ui 하위의 데이터를 스크래핑 하는 방법

웹사이트 내 수 많은 expand ui가 있고 expand할 때 마다 하위 정보들이 나오는 구조입니다.

selector를 바꿔가면서 expand ui를 열고 닫는거 까지는 했는데요,
expanded된 화면의 하위 데이터만 스크래핑을 하고 싶은데 스크래핑할 때
지정했던 첫 번째 expand 메뉴의 하위 데이터들만 스크래핑 되는 문제가 있습니다.

expand ui처럼 화면이 리프레시 되지 않는 경우 어떻게 스크래핑을 해야 하는지 궁금합니다.

안녕하세요

리프레시되지 않는경우 스크래핑할 웹사이트를열고 f12키를 눌러 개발자모드에서 Select부분을 수정하 or UI Explorer에들어가셔셔 스크래핑할부분을 선택해야될거 같습니다.

더 자세한 판단을 위해서는 해당 사이트의 스크린샷이 필요할 것 같습니다만, 화면이 리프레시되지 않는 형태의 사이트의 경우 사실은 Document에 다 로드 되어있고 특정 UI의 클릭 이벤트 등을 통해 표시 상태만 동적으로 바뀌도록 되어있는 경우를 종종 봤습니다.

이런 경우에는 UI Explorer에서 각 expand ui 요소를 각각 찍어보면서 셀렉터를 자세히 분석해보는 것이 좋습니다.
임의로 idx=‘2’ 같이 인덱스를 직접 셀렉터에 추가해서 겉으로는 보이지 않는데도 엘리먼트로 잡히는 것이 있는지 등을 확인해 보시는 것도 좋습니다.