Skaner falas për një faqe

Çfarë bën

Jep një URL, merr një raport për atë faqe të vetme.

Nuk kërkohet llogari, nuk kërkohet verifikim pronësie. Arsyeja është e thjeshtë: marrja e një faqeje publike është pikërisht ajo që bën çdo shfletues kur dikush e hap atë adresë. Një kërkesë e vetme, me identitet të deklaruar, që respekton robots.txt — kjo nuk kërkon leje të veçantë.

Ajo që kërkon leje është crawl-i i plotë: qindra kërkesa drejt një serveri të huaj. Për atë duhet verifikim pronësie.

Çfarë kontrollon

Kontrollet që mund të kryhen mbi një faqe të vetme — pjesa më e madhe e të 93-ve. Nga këto:

• Meta: titulli, përshkrimi, canonical, robots, viewport, charset, Open Graph, Twitter Card, favicon.
• Përmbajtje: H1, hierarkia e titujve, numri i fjalëve, lexueshmëria, teksti alternativ i imazheve, dendësia e fjalëve kyçe.
• Teknike: DOCTYPE, atributi lang, struktura e URL-së, etiketat e vjetruara, stilet inline.
• Siguri: HTTPS, certifikata, gjashtë kokat e sigurisë, përmbajtja e përzier.
• Aksesueshmëri: etiketat e formularit, pikat e orientimit, teksti i lidhjeve, lidhja e kapërcimit.
• Të dhëna të strukturuara, ndërkombëtare dhe lidhje.

Kontrollet që kërkojnë disa faqe — lidhjet e brendshme në nivel sajti, titujt e dublikuar midis faqeve, thellësia e klikimeve — nuk mund të kryhen nga një skanim i vetëm, dhe raporti nuk pretendon se i ka kryer.

Kufijtë

Një kërkesë në çast për host, me respektim të Crawl-delay-t kur ai është më i madh se minimumi ynë. Kjo do të thotë se skanime të shumta drejt të njëjtit sajt radhiten; ato nuk e ngarkojnë serverin.

Dokumenti pranohet deri në 8 MiB; mbi atë kufi kthehet gabim i qartë, jo një analizë mbi tekst të prerë.

Ndiqen deri në 5 ridrejtime, secili i rivaliduar plotësisht: një ridrejtim drejt një adrese private ndalohet edhe nëse URL-ja e parë ishte krejt publike.

Nëse robots.txt i hostit na ndalon atë rrugë, faqja nuk merret dhe raporti thotë hapur pse. Nuk ka opsion për ta anashkaluar.

Çfarë mbahet

URL-ja, koha e skanimit dhe konstatimet.

Raportet nuk indeksohen nga motorët e kërkimit: zona e aplikacionit dërgon noindex në çdo përgjigje dhe është e ndaluar te robots.txt ynë. Kjo nuk është zgjedhje dizajni — të dhënat e auditimit për sajte të palëve të treta nuk duhet të bëhen publike nga ne.

Faqja e marrë nuk ruhet si arkiv dhe nuk ripublikohet.

Nëse je pronar i sajtit dhe do që të dhënat për të të hiqen, kërkesa dërgohet te adresa e shënuar te faqja e robotit dhe trajtohet siç përshkruhet te politika e privatësisë.

Si të lexohet rezultati

Çdo konstatim mban një kategori: kaluar, informativ, paralajmërim ose kritik. Këto tregojnë peshën që i ka dhënë kodi, jo domosdo rëndësinë për sajtin tënd.

Dy këshilla leximi që dalin nga vetë matja e analizuesve:

Lexoji kufizimet, jo vetëm konstatimet. Faqja e çdo kontrolli ka një pjesë që thotë çfarë nuk matet. Një "kaluar" te canonical-i do të thotë vetëm se etiketa ekziston — jo se vlera e saj është e saktë. Një "asnjë lidhje e thyer" do të thotë vetëm se asnjë nga ato që u kontrolluan nuk ishte e thyer, dhe lidhjet e brendshme nuk kontrollohen fare.

Mos i krahaso notat me pragjet zyrtare. Metrikat e përvojës janë vlerësime heuristike të llogaritura nga HTML-ja statike, jo matje në shfletues. Faqja e secilës e thotë hapur dhe shpjegon formulën.

Aty ku teksti që prodhon vetë analizuesi është i pasaktë, faqja e kontrollit ndjek matjen dhe e regjistron mospërputhjen. Ato mospërputhje janë publike dhe të numëruara.

Kur një faqe nuk merret dot

Skanimi mund të kthejë një gabim në vend të një raporti. Arsyet janë të tipizuara, jo një "timeout" i përgjithshëm:

• `robots.txt` na ndalon atë rrugë. Faqja nuk merret, dhe nuk ka opsion për ta anashkaluar.
• `robots.txt` nuk merret dot — 429, 5xx, timeout ose DNS i dështuar. Në këto raste ndalojmë, sepse nuk dimë çfarë thotë.
• Adresa është e ndaluar — jo publike, port tjetër nga 80 ose 443, ose një skemë si file:.
• Ridrejtim i pasigurt — një 30x që çon te një adresë e ndaluar; çdo hop rivalidohet.
• Kufi ridrejtimesh — mbi pesë hopa.
• Kufi bajtesh — dokumenti mbi 8 MiB.
• Sajti na bllokoi. Raportohet si e bllokuar; nuk provohet rrugë e dytë.

Secila prej tyre kthehet me kodin e vet, që ndërfaqja e përkthen në gjuhë njerëzore. Pa këtë nivel, çdo bllokim do të dukej si një defekt i yni.

Nga u nxor kjo faqe

Çdo pohim më sipër është nxjerrë nga kodi ose nga plani, dhe këtu janë vendet e sakta. Nëse njëri prej tyre nuk përputhet me atë që lexove, faqja është gabim.

• workers/seo-crawler/src/kontrata.ts:55
• workers/seo-crawler/src/kontrata.ts:28
• workers/seo-crawler/src/verifikimi/index.ts:162