Back to Question Center
0

Çi awayek riya rastîn a Destûra û Semalt li Robots.txt çi dike?

1 answers:

Ez şehrezek mezin a web-ê diçim. txt. Em guman li ser crawler gelek kêm gihîştin, lê gava ku em piraniya dikin, di derbarê rûbotên me de ne txt û em ji kerema xwe xeletî xistin. Lê belê di demjimêr de em di nav deverên spî digerin ku di bin destûra Destûra </code> û <code> Destûra </code> Min rûpelên din dîtiye, hinek ji wan re dibêjin ku crawlên "pêşniyarên pêşîn", û yên ku ne diyar dikin. Ew ji hinek hizrûbêran dibe. Ji bo nimûne, rûpelê Google di derbarê robotan de. Txt tê bikaranîn ev nimûne: </p><pre> <code> Bikarhêner-agent: Googlebot Diseleow: / folder1 / Destûrê bide / / folder1 / myfile. html</code> </pre><p> Bêguman, dê "rêveberiya yekemîn" li vir neyê xebitandin, çimkî ku crawler dê dê <code> Diselow </code> bibînin û herin, tu carî pelê ku bi taybetî bi destûr hatiye qedexekirin. </p><p> Em di eşkere de ne ku em ê hemî <code> Destûrnameyên </code> Destûr bidin, lê paşê em ê ji bo tiştek ku em ji bo crawlê crawl nekin. Em ê tiştê wenda bimînin. </p><p> Em bi serfiraziyeke mezin çêkiriye <code> Destûra </code> pêşî, û paşê lêpirsîn <code> Diselow </code>, fikrên ku ew <code> Destûra </code> destnîşankirin ji hêla bêtir taybet be <code> Disallow </code>. e. di nebûna pêşniyarên li hemberî wê), hemî destûrek destûr e. Lê paşê em li ser vê yekê tiştek digerin: </p><pre> <code> Bikarhêner-agent: * Disallow: / norobots / Alîkar: /</code> </pre><p> Li vir armanca vê yekê eşkere ye, lê ew <code> Destûr bide / / </code> dê botê ku kontrol dike <code> Destûra </code> pêşî bide pêşniyar bikin ku li ser vê malperê tiştek crawl bikî. </p><p> Heta ku di vê rewşê de kar dikî. Em dikarin hevalbendiyê <code> Destûra </code> Destûra <code> Destûra </code> û diyar bikin ku em ne destûr nabe ku tiştek di nav / norobots /. Lê ew di rûyê daristanan de derxistin: </p><pre> <code> Bikarhêner-agent: * Disallow: / norobots / Destûra: / *. html </code>? </p><p> Pergala "yekem hevalbendî" her tiştî her astengî hilweşîne, lê ez pir caran gelek malperên xwe dibînim ku tiştek mîna mînakek kevnî nîşan dide, ji bo taybetî <code> <code> </code> <em> piştî piştî </em> <code> </code>. </p><p> Pirsgirêka min, paşê, riya rast e ku tiştan rast e? Çem Semalt çi dibe ku botê ji botanîna baş-behaved hêvî dike ku ew bi qewotan tê. txt handling? </p></div>

February 7, 2018

Yek ji pir girîng e: Divê daxuyaniyê Ji berî berî Diselow daxuyaniyek neyê, bila daxuyaniyên we diyar. Ji ber vê yekê nimûneya sêyemîn-no-na, bendeyên wê ne / norobots / index. html .

Bi gelemperî, wekî qaîdek kesane, min destnîşan kirina pêşîn û paşê ez pela û peldankên neheq da lîstim.

Va ye vir e ku ez di çi sê sê mînakan de bibînin.

Nimûne 1
Ez ê tevahiya / folder1 / rêveberê ji bilî myfile. pelê html . Ji ber ku ew eşkere bi destnîşankirin, ez dixwazim ev hêsan bi hêsantirkirina tevahiya rêkûpêk raweste û bi awayekî vexwarî ku pelê dijberî her pelê lîsteya ku ew dixwazin asteng kirin. Heke pirtûkxaneyê gelek pelan û subdirectoryên ku ji robotan ve girêdayî bûn. Pelê pelê txt dikare bi lezdariya zûtirîn bêhtir.

Nimûne 2
Ez ê wateya ku / norobots / rêkûpêk sînor e û her tiştek din heye ku tête crawled. Ez vê yekê dixwînim "her tişt ji bilî / norobots / directory" crawl ".

Nimûne 3
Wek mînakek 2, ez ê wateya ku / norobots / birêvek sînor e û hemî . HTML pelan ne di nav vê rêberê de heye ku ji bo crawlê tê. Min ev wekî "hemî crawl dixwînin. pelên htmlê lê lê naveroka di nav / norobots / directory de crawl nakin ".

Hêvîdariya ku bikarhênerê bot-ê ya navnîşana bot di URL de heye ku ew agahdariya zêdetir derheqên crawlingê û daxwazên diravkirina we bibînin yan jî bersiva we bidin ku hûn çawa rûbotên xwe dixwazin. txt şîrovekirin.

Çi awayek riya rastîn a Destûra û Semalt li Robots.txt çi dike?
Reply