napisał: Miedzcu
postów: 1
 umieszczony:
29 marca 2024
22:09
|
|
Niestety będę pytał o rzeczy o których ZUPEŁNIE :( nie mam pojęcia, wiec zakładajcie z góry że zagmatwam niepotrzebnie sprawę:
1. Czy Web scraping przy pomocy VBA można podzielić na jakieś sposoby, rodzaje, stopnie zawansowania, kolejne coraz trudniejsze lekcje które trzeba opanować? Gdzie czerpać wiedzę o Web scrapingu? Myślę nawet o lekcjach uczących łamania kodu – ale nie włamywaniu ale omijania takich podstawowych trudności w Web Scapingu (np. 15 sekundowe zapytania w celu nie bycia uznanym jako atak DDoS i tak dalej i tym podobnym )
2. Pytanie wyżej zadaje gdyż nauczyłem się web scrapingu ze stron pod permanentnym linkiem, lub linkiem który ma w sobie zmienne parametry ale są one łatwo definiowalne (zakres dat, godzin itd. itp.) i można go hardcodować otrzymując prostą strone w formacie tekstu. Niestety zupełnie nie potrafię web scrapować stron stworzonych bodajże w JavaScript/JSON. Strona nie zmienia linku chodź zmienia swoją zawartość. Na stronie zmienia się parametry i należy wcisnąć przycisk „Load Data” by wyświetlić pożądane wyniki ale wciąż odbywa się to pod tym samym linkiem html. Jak zrobić by na takiej stronie działało macro pobierające zwartość? Jak to wszystko dekodować by krok po korku wiedzieć co szukać i gdzie szukać? Czy macie jakieś strony, materiały pozwalające na przeszkolenie z tego tematu?
3. Jak radzić sobie na stronach podobnych do tych opisanych wyżej ale które jednak wyplowają przy ładowaniu danych jakiś odmienny link. Link który jest aktywny czasowo a już po 15 minutach jest nieaktywne (daje błąd 404) i trzeba pozyskać od nowa link wprowadzając na stronie głównej ponownie parametry.
Wydaje mi się że rozwiązania z Power Query odpadają :( Tzn. wiele ze stron z których korzystam wymagają podwójnej weryfikacji kluczem U2F. Udało mi się napisać proste macro pozwalające na logowanie po przez Internet Explorer i utworzenie ciasteczka przez co kolejne marka działają już bez problemu przedstawiając dane ciasteczko. Niestety Power Query chyba ma swoją osobną ścieżkę logowania na strony której nie jestem wstanie sforsować :( |
|
|
 wstecz 1 dalej  wszystkich stron: 1
|
