« réanimer » ou encore - traiter ? Détection automatique du moteur de forum Aucun sujet php d'index alimenté par smf
Commençons tout de suite par le code du script principal :
#! / usr / bin / perl
# script quel-forum.pl
# (c) 2010 Alexandr A Alexeev, http://site/
utiliser strict;
# lignes commentées - pour plus de rigueur
# si la tâche consiste à collecter les statistiques du moteur, laissez-le tel quel
# si vous faites une liste de forums - décommentez
mes données $;
$ data. = $ _ while (<>
)
;
# vérifier combien Powered by phpBB était sans lien dans le pied de page Ceci et d'autres scripts mentionnés dans le message peuvent être trouvés dans cette archive. Scénario quel-forum.pl examine le code de la page html pour la présence de signatures de moteur de forum dans celle-ci. Nous avons utilisé une technique similaire pour définir WordPress et Joomla, mais il existe quelques différences. Premièrement, le script lui-même ne charge pas le code de la page, mais le lit à partir de stdin ou d'un fichier passé en argument. Cela vous permet de charger la page une fois, par exemple, en utilisant wget, puis de la faire passer par plusieurs analyseurs, si nous en avons plusieurs. Deuxièmement, dans ce script, la présence d'une signature est à 100% un signe du moteur. La dernière fois, la présence de la signature n'a donné du poids qu'au moteur correspondant et au moteur avec le poids le plus élevé "gagné". J'ai décidé que dans ce cas, cette approche ne ferait que compliquer inutilement le code. Pour tester le fonctionnement du script, j'ai fait une petite recherche. J'ai dressé une liste de plusieurs milliers de forums et parcouru chacun d'eux dans mon script, déterminant ainsi le pourcentage de déclencheurs de programmes et la popularité de divers moteurs. J'ai utilisé mon analyseur google pour obtenir une liste de forums. Le moteur de recherche a envoyé des requêtes comme site : forum.*.ru etc. Le code complet du générateur de requêtes se trouve dans le fichier gen-forumsearch-urls.pl... En plus de zone.ru ,.su .ua .kz et.by ont également été utilisés. Il était difficile de faire cette recherche la dernière fois, car les sites WordPress et Joomla n'ont pas de telles signatures dans l'URL. Les catalogues comme cmsmagazine.ru/catalogue/ ne fournissent pas une taille d'échantillon suffisante. Que sont 600 sites Drupal ? Je dois avouer que les résultats de l'expérience m'ont bouleversé. Sur les 12 590 sites étudiés, seuls 7 083 ont été identifiés avec succès avec le moteur, soit seulement dans 56 % des cas. Peut-être que j'ai raté un moteur? Bitrix était-il vraiment sur la moitié des forums ? Ou devrais-je passer plus de temps à chercher des signatures ? En général, plus de recherche est nécessaire ici. Parmi les 56% des moteurs identifiés avec succès, les plus populaires, comme prévu, étaient IPB (31%), phpBB (26,6%) et vBulletin (26,5%) Ils sont suivis de près par SMF (5,8%) et DLEForum (5,3%). Mon punBB préféré n'était qu'à la 6ème place (1,64%). Je ne recommanderais pas de faire fortement confiance à ces chiffres (ils disent qu'un forum sur trois dans RuNet fonctionne sur IPB), mais, bien sûr, il est possible de tirer certaines conclusions. Par exemple, si vous avez l'intention de créer un site Web sur un moteur de forum et prévoyez de modifier le forum, disons, payer aux utilisateurs 0,01 $ pour chaque message avec retrait automatique des fonds une fois par semaine, alors vous devez choisir l'un des trois moteurs les plus populaires. . Plus un forum est populaire, plus il est probable qu'il trouve un programmeur qui s'y connaisse bien. Si aucun changement significatif dans le moteur n'est prévu, il peut être judicieux de ne pas choisir le moteur le plus populaire, par exemple SMF ou punBB. Cela réduira le nombre d'attaques de pirates sur votre forum et la quantité de spam automatiquement envoyé sur celui-ci. Des scripts pour rechercher/définir des forums peuvent également être trouvés dans plus d'une application pratique. La première chose qui m'est venue personnellement à l'esprit a été de trier les forums identifiés par TCI et de les placer sur les cent premiers messages avec des liens vers l'un de leurs sites. Cependant, une centaine de liens dofollow du forum n'ont en rien affecté le TCI (2 mises à jour passées), il vaut donc mieux ne pas perdre de temps ici, à moins que les transitions ne vous intéressent. Il est clair que l'utilisation nominative des scripts est loin d'être la seule. Je pense que vous pouvez facilement comprendre comment vous pouvez les utiliser. Bonjour chers lecteurs du site du blog. Donc, nous continuons le sujet de la mise en place d'un moteur de forum appelé SMF, commencé dans un article à ce sujet. Là, nous n'avons pas encore rendu le forum russe, en termes de traduction à partir de l'interface anglaise. Pour le moment, il n'a pas l'air très présentable, mais après la russification (s'il n'a pas encore été produit) et la création des sections correspondantes, son apparence s'améliorera considérablement. Aujourd'hui, nous allons examiner les thèmes de conception et les rendre russes, ainsi que l'installation du composant JFusion, qui peut fonctionner avec les deux moteurs (Joomla et SMF), ce qui nous permettra d'avoir une base d'utilisateurs commune pour deux et une seule forme de leur inscription et leur connexion. Le moteur du forum Simple Machines prend en charge la possibilité de modifier les thèmes. De plus, ils peuvent être modifiés, à la fois pour l'ensemble du forum dans son ensemble et pour ses sections individuelles en particulier. Personnellement, j'ai utilisé le skin par défaut, mais j'y ai apporté pas mal de modifications manuelles. En particulier, j'ai modifié l'arrière-plan, les schémas de couleurs de certains éléments, ajouté une horloge sur le flash, la radio et bien plus encore, dont je parlerai dans les prochains articles de cette section. Pourquoi n'ai-je utilisé aucun des skins supplémentaires lors de la création du forum ? Eh bien, ici, probablement, il s'agit de ma paresse. Non, je n'étais pas trop paresseux pour rechercher et télécharger de nouveaux thèmes, car il existe de nombreux endroits où cela peut être fait. Ma paresse est ailleurs. Le fait est que toute la variété de mods pour ce moteur, conçu pour étendre ses capacités, se concentre sur le thème par défaut. Laissez-moi expliquer. Si vous avez un thème par défaut, l'ajout de l'un ou l'autre mod à SMF prend quelques secondes et, en règle générale, ne nécessite pas d'édition manuelle du code. Dans le cas de l'installation d'un mod sur un thème de conception autre que celui par défaut, vous devrez, comme on dit, traiter toutes les parties non traitées avec un fichier. En d'autres termes, vous devrez utiliser FileZilla (vous pouvez le télécharger et le configurer pour accéder au site via FTP et ouvrir les fichiers de votre moteur de forum pour les éditer, auxquels ce mod apporte des modifications. Recherchez ensuite le bon endroit dans le code et effectuez les actions nécessaires : soit remplacer le code, soit supprimer, soit ajouter un morceau de code avant ou après le fragment dont vous avez besoin. Considérant qu'il peut y avoir environ une douzaine de fichiers à modifier, vous pouvez imaginer à quel point ce sera gênant. Dans ce cas, vous devez être très prudent et ne pas faire d'erreurs, car sinon le forum risque de ne pas s'ouvrir du tout. Si tous les problèmes ci-dessus liés à l'utilisation d'un thème autre que celui par défaut ne vous font pas peur, vous pouvez les télécharger ici. Les thèmes y sont classés par sections (minimalisme, proche du classique, moderne, etc.) et pour chacun d'eux vous pouvez voir sa capture d'écran en plein écran. Je vous dirai comment installer ces mêmes thèmes un peu plus tard. Si vous n'avez pas russifié le forum au stade de l'upload des fichiers du moteur vers l'hébergement, comme décrit dans la première partie de cet opus (voir le lien en tout début d'article), alors vous pouvez le faire maintenant. Le pack de langue russe pré-téléchargé à partir de cette page avec celui que vous souhaitez, vous devez le décompresser, puis copier le dossier Thèmes dans le dossier racine, où se trouve déjà un répertoire du même nom. Une fois la copie terminée, vous devez vous rendre sur le forum en utilisant le nom d'utilisateur et le mot de passe de l'administrateur. Sélectionnez « Admin » dans le menu du haut, puis cliquez sur « Paramètres du serveur » dans la colonne de gauche. Dans la fenêtre qui s'ouvre, nous trouvons l'élément "Langue du forum par défaut" et sélectionnez la langue russe dans la liste déroulante, puis cliquez sur le bouton "Enregistrer" en bas de la page. Ça y est, maintenant votre conférence est entièrement en russe. Veuillez noter qu'à l'avenir, lors de l'ajout de mods à SMF qui n'ont pas de traduction en russe, vous pouvez parfois avoir un problème avec l'affichage des paramètres de mod dans le panneau d'administration. En fait, ces mêmes paramètres dans le panneau d'administration ne seront tout simplement pas visibles, tk. il n'y aura pas de fichiers de russification pour eux. Par conséquent, vous aurez deux options pour résoudre ce problème. La première façon est de passer à l'anglais pour l'ensemble du forum. Comment cela peut être fait, vous pouvez voir quelques paragraphes ci-dessus. En conséquence, après avoir effectué les actions nécessaires avec ces paramètres, vous devrez à nouveau revenir au russe. La deuxième méthode est plus compliquée, mais elle nous permettra de toujours voir les paramètres des mods installés dans le panneau d'administration, et pas seulement lorsque la langue anglaise est activée. Je m'attarde sur ce point de manière tellement détaillée, car la question que quelqu'un a installé un mod et ne peut pas trouver ses paramètres dans le panneau d'administration de sa conférence est très courante. Ainsi, la deuxième façon consiste à ajouter des chaînes de traduction aux fichiers de russification pour les mods nouvellement ajoutés. Comment déterminer quels fichiers de russification doivent être modifiés et où les obtenir, je vous le dirai plus tard. Pour l'instant, temporairement, vous pouvez utiliser la première méthode. Vous devez d'abord télécharger JFusion et sa russification. En entrant dans le panneau d'administration de Joomla, nous effectuons des actions standard : sélectionnez dans le menu supérieur du panneau d'administration les éléments "Extensions" - "Installer / Supprimer" - "Télécharger le fichier du package" - le bouton "Parcourir" - recherchez sur votre ordinateur le fichier avec le composant jfusion_package.zip - cliquez sur " Télécharger le fichier & Installer> ". Après cela, une fenêtre apparaît pour vous informer que le composant a été installé avec succès. Si vous rencontrez des problèmes, vous pouvez vous familiariser avec les options pour résoudre certains d'entre eux en cliquant sur le lien ci-dessus. C'est maintenant au tour de la russification, qui s'ajoute de la même manière que le composant lui-même. Celles. nous répétons la séquence d'actions : "Extensions" - "Installer / Supprimer" - "Télécharger le fichier du package" - le bouton "Parcourir" - recherchez le fichier de russification JFusion sur votre ordinateur - cliquez sur le bouton "Télécharger le fichier & Installer" bouton. Nous pouvons maintenant accéder aux paramètres le long du chemin "Composants" - "JFusion" et nous assurer que la russification a été ajoutée avec succès et fonctionne. Bonne chance à toi! A bientôt sur les pages du site du blog Vous pouvez être intéressé Organisé par Botmaster Labs, non prévu. Il n'y a pas de temps, la vidéo est nécessaire pour la compétition, comme une nouvelle tendance, même si c'est plus facile de tout expliquer avec de bonnes captures d'écran (mon IMHO), et je n'ai pas vraiment envie de filmer quoi que ce soit. Il en reste donc très peu de rentables, les spams stupides ne règnent plus du tout, ici il faut réfléchir et personne ne brûlera le sujet, si seulement les obsolètes essayaient de fourrer et de saupoudrer un peu dans un bel emballage. :) Mais ce n'est pas à propos de nous. En général, ces 3 "non", je pense, au fond, et sont devenus des barrières à la participation à la compétition pour la majorité des participants potentiels. C'est comme réparer une voiture sur trois : pas cher, de bonne qualité, rapide - le service ne peut remplir que 2 conditions à la fois. asseyez-vous et choisissez ce qui est le plus proche de vous. :) La compétition est la même : j'ai le temps, je peux faire des vidéos, mais je n'ai pas de sujet, ou je sais faire une vidéo, j'ai un sujet, mais je n'ai pas du tout le temps, ou j'ai du temps libre et j'ai un peu de temka, mais la vidéo fait peur. Mais c'est bien si 2 conditions sont réunies en même temps. Bon, d'accord, laissons tomber les paroles. Je vais continuer à moi-même. Je n'ai pas prévu, ce qui veut dire que j'ai participé au concours, j'ai même choisi pour quel article je voterais. Dites ce que vous voulez, mais Doz connaît très bien le logiciel et sait l'utiliser de manière très judicieuse. Mais aujourd'hui, j'ai découvert que l'intrigue était apparue dans la compétition. Il s'avère que je ne pourrai pas voter, mais seuls les débutants qui ont acheté le logiciel en 2011 et le concours est conçu pour eux pourront le faire. J'ai été un peu surpris, mais le propriétaire est un maître. Le concours est une campagne publicitaire et Alexandre sait mieux la mener. En général, j'ai décidé alors de poster un article, c'est un peu plus facile à écrire quand on sait pour qui, pour toute la ferme collective, en fait, c'est impossible de faire ça. Propulsé par php Fusion Dans la version Hrumer 7.07, le programme est entraîné dans plusieurs nouveaux moteurs : forumi.biz, forumb.biz, 1forum.biz, 7forum.biz, etc. phpBB-fr.com, thème Solaris phpBB Et le processus d'apprentissage de nouvelles choses se poursuit en permanence. "Propulsé par SMF 1.1.2" "Propulsé par SMF 1.1.3" "Propulsé par SMF 1.1 RC2" "Propulsé par SMF 1.1.4" "Propulsé par SMF 1.1.8" "Propulsé par SMF 1.1.7" "2006-2008, Simple Machines LLC" Et ce n'est pas tout. En collectant les versions des moteurs, sur certains forums SMF, en pied de page on retrouve le nadvis "2001-2006, Lewis Media". Nous vérifions cette demande, elle nous satisfait également pleinement. On retrouve une requête similaire : "2001-2005, Lewis Media". En parcourant les pieds de page, nous trouvons la requête suivante : "SMFone design by A.M.A, porté to SMF 1.1". Nous vérifions - excellent. Etc. Une demi-heure de travail et vous avez une merveilleuse base de données de requêtes pour le moteur, et Google sera banni pour ces requêtes beaucoup moins souvent que si vous y utilisiez des opérateurs. Et en même temps, votre base de données sera beaucoup plus propre que si vous utilisez des requêtes comme "index.php? Topic =", car ici Google donnera non seulement les forums dont nous avons besoin, mais aussi beaucoup de ressources laissées où nous avons réussi à laisser un lien vers le sujet du forum. Vous pouvez discuter, disent-ils, qu'y a-t-il de mal à cela? D'autres ont laissé un lien, donc nous pouvons. Mais! Les liens peuvent être laissés non seulement par Hrumer, mais également par d'autres programmes. de plus, ils peuvent être spécialement affinés pour laisser des commentaires dans une certaine ressource, le logiciel dit hautement spécialisé, et de tels liens pourraient être laissés à la main. Encore une fois, je le répète, ce n'est pas la quantité de déchets qui est importante pour nous, mais la qualité, la base avec les bonnes demandes, et donc nous allons collecter. L'avantage de cette méthode est que vous n'avez pratiquement pas besoin de configurer dans Hréférez tamis -filtre
- viagra - guitare - repos 保险公司 - assurance Mettez ces codes pour les remplacer dans le fichier word : % E4% BC% 9F% E5% 93% A5 % E5% 90% 89% E4% BB% 96 % E5% 85% B6% E4% BB% 96 % E4% BF% 9D% E9% 99% A9% E5% 85% AC% E5% 8F% B8 Si vous faites la promotion d'un site d'assurance, alors en plaçant un lien dans votre profil sur une thématique (!) voire un forum chinois trouvé sur demande" Forum SMF "保险公司 sera très sympa.
imprimer "phpbb \ n "
si ($ données = ~ /
# $ data = ~ /viewforum\.php\?"^""")*f=\d+/i ou
$ data = ~ / phpBB \ -SEO / i ou
$ données = ~ /)
;
imprimer "ipb \ n "
si ($ données = ~ /
$ données = ~ /
$ données = ~ /
$ données = ~ /index\.php\?†^""†*showforum=\d+/i)
;
imprimer "vbulletin \ n "
si ($ données = ~ / Propulsé par : ? [^<]+vBulletin[^<]+(?:Version)?/i
ou
$ données = ~ /)
;
imprimer "smf \ n "
si ($ données = ~ /
$ données = ~ /index\.php\?†^"""*board=\d+\.0/i)
;
imprimer "punbb \ n "
si ($ données = ~ /
# $ data = ~ /viewforum\.php\?"^)">*id=\d+/i);
imprimer "fluxbb \ n "
# if ($ data = ~ /viewtopic\.php\?id=\d+/i ou
si ($ données = ~ /
imprimer "exbb \ n "
si ($ données = ~ /
# $ data = ~ /forums\.php\?†^"""*forum=\d+/i);
imprimer "yabb \ n "
si ($ données = ~ /
$ data = ~ /YaBB\.pl\?†^"""**num=\d+/i);
imprimer "le forum \ n "
si ($ données = ~ / \ (Powered By DLE Forum \)<\/title>/ je ou
$ données = ~ /
imprimer "iconboard \ n "
si ($ données = ~ /
$ données = ~ /\ n "
si ($ données = ~ /\ n "
# if ($ data = ~ /forums\.php\?fid=\d+/i ou
# $ data = ~ /topic\.php\?fid=\d+/i ou
si ($ données = ~ /
imprimer "stokesit \ n "
# if ($ data = ~ /forum\.php\?f=\d+/i ou
si ($ données = ~ /
imprimer "podium \ n "
# if ($ data = ~ /topic\.php\?t=\d+/i ou
si ($ données = ~ /
imprimer "usebb \ n "
# if ($ data = ~ /forum\.php\?id=\d+/i ou
si ($ données = ~ /
imprimer "wrforum \ n "
# if ($ data = ~ /index\.php\?fid=\d+/i ou
si ($ données = ~ /
imprimer "ytanotherforumnet \ n "
if ($ data = ~ / Encore un autre forum \ .net / i ou
$ données = ~ /default\.aspx\?g=posts&t=\d+/i)
;
site : parler. *. ru
site : planche.*.ru
site : smf.*.ru
site : phpbb. *. ru
....Thèmes et installation du pack de langue russe
Résoudre les problèmes lors de l'installation de mods qui ne prennent pas en charge le russe
Installation de JFusion pour l'intégration du site et du forum
Configuration de JFusion pour combiner le forum SMF et le site Joomla 
Modules JFusion pour afficher les messages du forum sur le site, ainsi que créer un bouton dans SMF pour revenir à Jumla 
Création d'un élément de menu dans Joomla pour entrer dans le forum et transfert de l'enregistrement de l'utilisateur de SMF vers le site 
Installation du forum SMF - Intégration de Joomla 1.5 et du forum Simple Machines à l'aide du composant JFusion 
Extensions pour Joomla - qu'est-ce que c'est et où télécharger les composants, modules et plugins pour Joomla, comment les installer et les désinstaller 
Composant K2 pour la création de blogs, catalogues et portails sur Joomla - fonctionnalités, installation et russification Galerie de photos pour Joomla - Partie 3 - Création de galeries dans Joomla 1.5 à l'aide du composant Phoca Gallery - ajout de catégories et téléchargement d'images dans la galerie de photos 
ARTIO JoomSEF - configuration des liens CNC (SEF) et du titre dans Joomla, ainsi que création d'une page d'erreur 404 à l'aide de cette extension 
Akeeba Backup (ancien JoomlaPack) - créez une sauvegarde de site sur Joomla et restaurez à partir d'une sauvegarde en deux clics
La longue introduction est terminée, maintenant au point.
De quoi un débutant a-t-il besoin lorsqu'il a acquis un tel super-moissonneuse, qui est le complexe Xrumer + Hrefer ? C'est vrai, apprenez à travailler dessus et jetez l'illusion qu'en commençant à spammer avec des feuilles, vous pouvez gagner de l'argent. Si vous le pensez, donnez immédiatement votre argent à une œuvre caritative. Vous devez apprendre à utiliser les outils du complexe, de préférence en l'affûtant vous-même. Le temps "prendre plus - jeter plus" est révolu. La quantité fait place à la qualité. Nous allons donc collecter la base pour nous-mêmes, n'apprenez pas à le faire - vous serez à la traîne du train. Bien sûr, Hrefer nous aidera avec cela. Si vous envisagez de promouvoir vos ressources sur Google, nous devons également rechercher des sites donateurs via Google. Je pense que c'est clair et logique. Mais Google, en tant que propriétaire de la montagne de cuivre, ne cède pas sa richesse à tout le monde. Vous avez besoin d'une approche. Je voudrais dire tout de suite que n'espérez pas que vous pourrez collecter quelque chose en fonction des signes que vous trouvez en public. C'est pourquoi ils sont disponibles dans le public, parce qu'ils ne valent rien. Je ne développerai pas plus le sujet. Je ferais mieux de vous dire comment l'assembler correctement pour que vous voyiez le résultat, vous finirez le reste vous-même, l'essentiel est de comprendre le principe. Il est nécessaire de collecter sur la base correcte sur la base des moteurs spécifiques dont nous avons besoin, et non sur la base des forums en général. C'est la principale erreur des débutants - ne pas se concentrer sur le spécifique, mais essayer de tout couvrir dans son intégralité. Et pourtant, si vous voulez analyser une base plus ou moins normale, refusez de l'utiliser dans les requêtes des opérateurs. Pas de "inurl:", "site:", "title", etc. Google interdira instantanément les chercheurs comme vous. Par conséquent, nous étudions attentivement les moteurs avec lesquels Hrumer travaille actuellement :
En général, nous devons préparer les requêtes correctes pour l'analyse par Hrefer. Prenons l'exemple d'un djok du forum. Forums SMF... Et commençons à le démonter en pièces pour l'analyse. Notre bien-aimé Google nous aidera avec cela. Saisie d'une demande dans Google Forums SMF- il y a beaucoup de déchets dans les résultats de la recherche, nous revenons à une 13e page et sélectionnons n'importe quel lien. Je suis tombé sur celui-ci : http://www.volcanohost.com/forum/index.php?topic=11.0. Nous l'ouvrons et l'examinons. Nous devons trouver quelque chose de caractéristique sur la page qui peut être appliqué à la recherche d'autres pages sur ce moteur. En pied de page, on remarque l'inscription suivante Propulsé par SMF 1.1.14, nous le citons et l'entrons dans Google, il nous montre que pour cette demande, il connaît environ 59 millions d'options. Nous parcourons rapidement les liens, ajoutons quelques ou deux options supplémentaires à ce mot clé, par exemple, Peuplier "Powered by SMF 1.1.14" ou Viagra "Alimenté par SMF 1.1.14"... Nous sommes convaincus que la demande est magnifique, seuls les forums sont affichés et il n'y a presque pas de déchets pour vous.
De plus, nous ne nous intéressons pas à la quantité, mais à la qualité, comme je l'ai dit plus haut. Passez. Du même forum, nous reprenons une autre phrase du pied de page : , nous le citons également et le transmettons à Google. En réponse, il révèle qu'il connaît plus de 13 millions de résultats. Encore une fois, nous examinons brièvement le problème, ajoutons des mots supplémentaires et vérifions le problème avec eux. Nous nous assurons que la requête est excellente et qu'il n'y a également presque pas de déchets. En général, il y a déjà 2 demandes de fer. Je suggère de laisser le premier forum seul pour l'instant et de continuer à collecter des demandes pour d'autres forums. Heureusement, Google est ouvert sur demande 2006-2008, Simple Machines LLC... Nous prenons des résultats, par exemple, ces forums : http://www.snowlinks.ru/forum/index.php?topic=1062.0 et http://litputnik.ru/forum/index.php?action=printpage ; topic=380.0 dans leurs pieds de page, nous prenons les requêtes suivantes : "Powered by SMF 1.1.7" et "Powered by SMF 1.1.10" (je conseille toujours de conduire les requêtes entre guillemets pour Hrefer, car nous avons avant tout besoin de qualité ). Je pense que c'est clair ce que nous faisons, au final nous aurons une certaine base de requêtes pour rechercher des forums sur le moteur SMF (c'est sélectionné pour un exemple, avec le reste des moteurs c'est pareil).
Cela ressemblera à quelque chose comme ceci : 
Je pense qu'il est très important d'apprendre à utiliser correctement Hrefer au stade initial, car après avoir appris cela, vous pouvez toujours trouver une utilité à Hrumer, quelle que soit l'évolution de la situation. Les protections deviennent plus compliquées, et si sur certains types de moteurs la protection a été renforcée et que Hrumer ne peut pas y faire face pour le moment, alors cela n'a aucun sens de dépenser des ressources pour collecter ces liens, puis pour travailler dessus avec Hrumer, mieux vaut concentrer ses efforts sur ce qui donne le résultat... Et en même temps, si l'équipe de Botmaster Labs a appris quelque chose de nouveau à Hrumer, vous pouvez rapidement disséquer un nouveau patient et préparer une base pour Hrumer pendant que le patient est encore tiède. Le temps c'est de l'argent, la ressource peut ne plus être pertinente lorsque vous achetez la base. recueilli par quelqu'un. De plus, la collection correcte de bases pour elles-mêmes élargit considérablement l'utilisation "blanche" de Hrumer. Et c'est exactement là où tout bouge, que cela nous plaise ou non, et le processus de blanchiment ou de grisonnement se poursuit. Les draps noirs appartiennent au passé.
Tout le reste, déjà des aspects techniques du travail avec Hrefer, peut être consulté dans l'aide et cela n'a aucun sens de s'y attarder, tous les objectifs-points-secondes sont définis de manière empirique pour chaque voiture individuellement.
En bonus, je posterai ici un modèle d'analyse du moteur de recherche chinois Baidu, l'autre jour on m'en a parlé, donc je l'ai fait entre temps, désolé pour le jeu de mots. :)
Nom d'hôte = http://www.baidu.com
Requête = s? Wd =
LiensMasque =
Nombre total de pages = 100
Page suivante =
NextPage2 =
CaptchaURL =
CaptchaImage =
Champ Captcha =
J'ai essayé de les analyser dans un test, il n'y avait pas d'interdiction, Hrefer collectait des ressources de manière vivante, toutes les demandes d'analyse étaient similaires à celles de Google, mais les ressources chinoises étaient une mer, et avec un PR élevé, et en plus, il y avait de nombreux endroits où le L'européen n'a pas fait un pas. Il est préférable d'analyser les requêtes chinoises. Cela aidera Google à traduire, taper une liste de mots-clés en russe et la traduire en chinois. La vérité dans " mots"Les mots de référence ne peuvent pas être ajoutés en chinois, vous devez les recoder.
Au lieu du chinois : 
En conclusion, je voudrais dire que je n'ai jamais compris les gens qui se sont plaints que les Khrefers sont mauvais ou ne analysent pas, j'ai toujours voulu dire ceci, vous ne savez tout simplement pas comment les cuisiner. Mieux qu'un hrefer, aucun parseur ne sait comment collecter les résultats, seules les requêtes doivent être correctes. Hrefer est une voiture : bonne, solide, fabriquée en allemand, mais une personne la conduit et tout dépend de l'intelligence avec laquelle elle est conduite, vous ne pouvez pas forcer la voiture à aller à droite et à gauche en même temps.
Un sujet à part est le nettoyage des bases, je l'ai fait une fois il y a 3 ans pour le concours précédent. Avec plus, tout est toujours pertinent, mais maintenant vous pouvez refuser de vérifier 200 OK, je n'ai vraiment pas vraiment aimé ce processus, les erreurs étaient très importantes, beaucoup de choses inutiles ont été filtrées. Maintenant, cela peut être fait presque automatiquement dans le processus de travail de Hrumer, bien que ce processus ne soit pas un analogue complet de la vérification de "200 OK". En général, au point : il n'y a pas si longtemps, une merveilleuse opportunité est apparue dans Hrumer - de voler des informations sur les ressources au moment de l'exécution du projet. Cela ressemble à ceci. Vous conduisez dans un modèle qui sera traité au cours du processus, et les informations collectées à partir du modèle seront saisies dans le fichier xgrabbed.txt dans le dossier Logs. Vous pouvez utiliser cette fonction pour n'importe quoi, le vol de l'imagination est énorme. J'utilise cette fonction une fois par semaine pour supprimer les liens "expirés" de la base de données de travail. Ce n'est un secret pour personne que les forums meurent chaque jour afin de nettoyer la base de telles ressources et l'outil "Autograbbing" nous aidera dans ce cas.
Après tout, vous devez admettre qu'en tapant souvent, par exemple, http://www.laptopace.com/index.php, nous voyons que ce domaine est déjà, par exemple, un gaddyad, mais il n'y a pas de forum là-bas. Donc pour jeter ce laitier hors de la base, on va piller. :) Ouvrez le code source de la page et voyez cette entrée là :
Désormais, tous les « morts » des goudaddi nous seront connus par leur nom.
Voici une petite sélection pour l'outil "Autograbbing", si vous souhaitez nettoyer la base de données de différents domaines "expirés":