Hogyan sorolhatjuk fel az összes webhelyhez társított URL-t Gyors verzió

Szüksége van tehát egy listára, amely tartalmazza a webhely összes URL-jét? Esetleg átirányításokat hajt végre? Elérte az XML-webhelytérképek korlátját? Klassz, én is. Nekem csak az az eszköz áll rendelkezésedre, amely nagyjából ugyanolyan gyorsasággal hajtható végre, mint az XML Sitemaps, de sokkal menőbbnek tűnik.

Hol kezdődik az oktatóanyag

Az URL-ek listájának megszerzéséhez a Wget-et fogjuk használni!

Mi a Frigg Wget?

"A Wget egy ingyenes szoftvercsomag fájlok letöltésére HTTP, HTTPS és FTP, a legszélesebb körben használt internetes protokollok használatával." - Főzni ormFormulák

És azt is felhasználhatja, hogy egy domainhez társított URL-ek nagy listáját kérje.‍

‍1. A Wget telepítése

A Wget telepítéséhez, ha még nem tette meg, először telepítenie kell a HomeBrew-t; más néven Brew. ? A Brew csomagkezelő, vagyis szoftvereket telepít az Ön számára és kezeli azokat. Megnézheti a weboldalukon található utasításokat, vagy csak kövesse az alábbiakat.

Telepítse a Brew-t

Illessze be ezt a terminál parancssorába, és nyomja meg az Enter billentyűt kétszer ⮐ (lehet, hogy jelszót kér.)

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"‍

Telepítse a Wget alkalmazást

Most, hogy telepítette a Brew-t, itt az ideje a Wget telepítésének. Illessze be ezt a terminál parancssorába, és nyomja meg az Enter ⮐ billentyűt

brew install wget

2. Ideje beszerezni a 'Dem URL-eket'

A Wget telepítésével egyszerűen letöltjük a weboldalt, majd megjelenítjük az összes URL-jét. Először töltse le a kívánt weboldalt

Wget -r www.shutterandcode.com

Majd a letöltés befejeztével felsoroljuk az URL-eket

Find www.shutterandcode.com

(Ügyeljen arra, hogy ugyanazt a webhelydomaint használja, mint amit letöltöttünk).

Következtetés

Miután egy sor alkalmi teszt összehasonlította a Wget-et az XML webhelytérképekkel kisebb weboldalak segítségével, azt tapasztaltam, hogy mindkettő nagyjából egyenlő egymással. Alkalmanként az egyik gyorsabb lenne, mint a másik, de összességében mindkettőjük sebessége hasonló volt

Ha többet szeretne tudni a Wget parancsokról, írja be ezt a parancssorba

wget --help

Remélem tetszett olvasni ezt! Ne felejtsd el kedvelni, kommentálni és feliratkozni! ?

a ps valójában nem érzik kötelességüket kedvelni, kommentálni és feliratkozni, mert ez egyszerűen vicc a YouTuberek számára :)

FRISSÍTÉS: ha nem akarja, hogy a webhely valóban letöltődjön a számítógépére, akkor a „wget” után írja be a „- spider” szót
wget -r --spider www.example.com

Nézze meg az eredeti bejegyzést és a többi részletet! sorozat a

Redőny és kód - Le Blog