Back to Question Center
0

Reta Skrapado: Bonaj kaj Malbonaj Botoj - Semalt-Klarigo

1 answers:

Bots reprezentas preskaŭ 55 procentojn de ĉia trafiko. Ĝi signifas, ke plejparto de via retejo trafiko venas de interretaj bots prefere ol homoj. Bot estas la softvara apliko, kiu respondecas pri aŭtomataj taskoj en la cifereca mondo. La botoj tipe plenumas ripetajn taskojn ĉe alta rapido kaj estas plejparte nedezirataj de homoj. Ili estas respondecaj pri malmultaj laborpostenoj, kiujn ni kutime prenas por koncede, inkluzive de serĉaj indeksado, saniga monitorado de la retejo, mezurante ĝian rapidon, potencajn APIojn, kaj prenante la enhavon de la retejo. Bots ankaŭ estas uzataj por aŭtomatigi la sekurecan aŭditorion kaj skani viajn retejojn por trovi vulnerabilojn, remediatajn ilin tuj - wifi lte 3g.

Esplorante la diferencon inter la bonaj kaj malbonaj botoj:

La bots povas esti dividitaj en du malsamajn kategoriojn, bonajn robotojn kaj malbonajn botojn. Bonaj robotoj vizitas viajn ejojn kaj helpas serĉajn motorojn engluti malsamajn paĝojn. Ekzemple, Googlebot balaas multajn retejojn en Google rezultoj kaj helpas malkovri novajn paĝojn en interreto. Ĝi uzas algoritmojn por taksi kiujn blogoj aŭ retejoj devus esti rampitaj, kiom ofte rampanta estu farita, kaj kiom da paĝoj estas indeksitaj ĝis nun. Malbonaj bots estas respondecaj por plenumi malbonajn taskojn, inkluzive de reteja skrapado, komento spam , kaj DDoS-atakoj. Ili reprezentas pli ol 30 procentoj de ĉiuj trafikoj en Interreto..La hackers ekzekutas la malbonajn botojn kaj plenumas diversajn malbonajn taskojn. Ili skanas milionojn al miliardoj da retpaĝoj kaj celas ŝteli aŭ skrapi enhavon kontraŭleĝe. Ili ankaŭ konsumas la larĝajn bandojn kaj senĉese serĉas kromaĵojn kaj programojn, kiuj povas uzi por penetri viajn retejojn kaj datumbazojn.

Kio estas la damaĝo?

Kutime, la serĉiloj rigardas la skrapitan enhavon kiel duplikatan enhavon. Ĝi estas malutila al viaj serĉiloj kaj skrapoj kaptos viajn RSS-fluojn por aliri kaj renovigi vian enhavon. Ili gajnas multan monon kun ĉi tiu tekniko. Bedaŭrinde, la serĉiloj ne implementis neniun manieron por forigi malbonajn robotojn. Ĝi signifas, se via enhavo estas kopiita kaj paŝita regule, la ranking de via retejo ricevas damaĝita en kelkaj semajnoj. La serĉiloj penaligas la ejojn, kiuj enhavas duobligatan enhavon, kaj ili ne povas rekoni, kies retejo unue publikigis pecon de enhavo.

Ne ĉiuj retaj skrapoj estas malbonaj

Ni devas agnoski, ke skrapado ne ĉiam estas malutila kaj malica. Ĝi utilas por retejposedantoj kiam ili volas propagi la datumojn al tiom da individuoj kiel eble. Ekzemple, la registaraj ejoj kaj vojaĝaj portaloj provizas utilajn informojn por la ĝenerala publiko. Ĉi tiu tipo de datumoj kutime estas disponebla laŭ la API, kaj skrapistoj estas uzataj por kolekti ĉi tiun datumon. Neniel, ĝi estas malutila al via retejo. Eĉ kiam vi skrapas ĉi tiun enhavon, ĝi ne difektos la reputacion de via interreta komerco.

Alia ekzemplo de aŭtentika kaj leĝa skrapado estas agregaj ejoj kiel hotelaj rezervaj portaloj, koncertaj biletoj kaj novaĵoj. La bots, kiuj respondecas distribui la enhavon de ĉi tiuj retpaĝoj, ricevas datumojn per la API kaj skrapu ĝin laŭ viaj instrukcioj. Ili celas stiri trafikon kaj ĉerpi informojn por retejestroj kaj programistoj.

December 14, 2017