■掲示板に戻る■ 全部 1- 最新50 RSS レス削除

Robots＆Crawlerメモスレ

1 ：猫谷美甘 ：2005/08/09(Tue) 21:34 ID:????????

ロボットとクローラーメモ用。
日時、UA、ホストを記述〜。

2 ：猫谷美甘＠管理人 ★ ：2005/08/09(Tue) 21:35 ID:????????

【日時】2005/08/09 06:41:13
【ホスト】cr1.turnitin.com
【UA】TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.html

3 ：猫谷美甘＠管理人 ★ ：2005/08/09(Tue) 21:36 ID:????????

あ、http://www.tailtame.com/private/memo/bot.html用です。
記述の仕方を変えようと収集〜。しかし、slurp?来すぎー。

4 ：猫谷美甘 ：2005/08/21(Sun) 16:52 ID:????????

【日時】2005/08/21 08:19:09
【ホスト】egspd42224.ask.com
【UA】Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
ask.jpのロボット。ここプレビュー取るんですよねー。

5 ：猫谷美甘 ：2005/08/22(Mon) 18:17 ID:????????

テンプレ(；´Д｀)
【日時】
【ホスト】
【UA】

6 ：猫谷美甘 ：2005/08/22(Mon) 18:18 ID:????????

【日時】2005/08/22 18:09:32
【ホスト】career.drecom.jp
【UA】Drecombot/1.0 (http://career.drecom.jp/bot.html)

7 ：猫谷美甘 ：2005/08/22(Mon) 18:20 ID:????????

【日時】2005/08/22 17:29:01
【ホスト】ns.hatena.ne.jp
【UA】Hatena Antenna/0.4 (http://a.hatena.ne.jp/help)
1度に2回でアクセスあって、4回くらい来るんだっけ。

8 ：猫谷美甘 ：2005/08/25(Thu) 10:25 ID:????????

【日時】200508/25 10:17:10
【ホスト】ip-216-69-177-55.ip.secureserver.net
【UA】GOFORITBOT ( http://www.goforit.com/about/ )

9 ：猫谷美甘 ：2005/08/25(Thu) 10:27 ID:????????

【日時】200508/25 08:56:23
【ホスト】lj2579.inktomisearch.com
【UA】Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
msnよりよく来る(；´Д｀)
の割には人が来な(ｒｙ

10 ：猫谷美甘 ：2005/08/26(Fri) 16:56 ID:????????

【日時】200508/26 16:45:01
【ホスト】crawl29-public.alexa.com
【UA】ia_archiver
Internet archiveだー(*´Д｀)
って弾くの忘れてるし。ついでにこれも↓
【robots.txt】User-agent: ia_archiver

11 ：猫谷美甘 ：2005/08/26(Fri) 17:04 ID:????????

にゅーテンプレ
【日時】
【ホスト】
【UA】
【robots.txt】
これだけありゃいいでしょう〜。
PHP Analyzerで見つけてます。Analogは時間とかわからないのでパスー。まあ、時間はなくてもいいんですけどね。

12 ：猫谷美甘 ：2005/08/26(Fri) 17:06 ID:????????

【日時】2005/08/26 11:41:16
【ホスト】crawl-66-249-64-54.googlebot.com
【UA】Googlebot/2.1 (+http://www.google.com/bot.html)
【robots.txt】User-Agent: Googlebot
googleの。robots.txtは色々とあるんでひとつだけ一応。

13 ：猫谷美甘 ：2005/08/27(Sat) 14:46 ID:????????

【日時】2005/08/27 14:11:12
【ホスト】ia109108.archive.org
【UA】NutchCVS/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
【robots.txt】
ホストがarchive.org……んー？
【日時】2005/08/27 14:22:27 (x2)
【ホスト】ns.hatena.ne.jp
【UA】Hatena Antenna/0.4 (http://a.hatena.ne.jp/help)
【robots.txt】User-agent: Hatena Antenna
１度に２回アクセスがあって１日４回のアクセスで計８回。
リロ可なカウンターだったら8hitプラスされそうだ(´¬｀*
画像カウンターならOKなんだっけ。
サイト運営情報 - 自分のサイトを更新チェックされたくない
http://hatenaantenna.g.hatena.ne.jp/keyword/%e8%87%aa%e5%88...
はてなアンテナ使ってみようかなー(´¬｀*

14 ：猫谷美甘 ：2005/09/02(Fri) 21:22 ID:????????

【日時】2005/09/02 07:55:42
【ホスト】64.124.85.75.become.com
【UA】Mozilla/5.0 (compatible; BecomeBot/2.3; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)
【robots.txt】User-agent: BecomeBot
どこから来たのかリファ残していきます(；´Д｀)ﾒｽﾞﾗｼ

15 ：猫谷美甘 ：2005/09/02(Fri) 21:24 ID:????????

【日時】2005/09/02 15:34:05
【ホスト】65.19.150.218
【UA】OmniExplorer_Bot/3.94b (+http://www.omni-explorer.com) WorldIndexer
【robots.txt】User-Agent: OmniExplorer_Bot
最近は『Crawl-delay: 2』ってrobots.txtでクロール日数を指定できるのかー。
上のBecomeBotとかも。

16 ：猫谷美甘 ：2005/10/04(Tue) 01:37 ID:????????

そいや、ひさびさにitiroが来てた…。gooは再会する気か(；´Д｀)？

17 ：猫谷 ：2005/10/08(Sat) 07:54 ID:N/zv3cYo

【日時】2005/10/08 06:14:44
【ホスト】sky.siraza.net
【UA】wbdbot
【robots.txt】
情報なし。UAでぐぐったら、ボットやらが入室してるチャットが…(；´Д｀)使いたくねぇ

【日時】2005/10/08 05:35:51
【ホスト】unknown.sagonet.net
【UA】Mozdex/0.7.2-dev (Mozdex; http://www.mozdex.com/bot.html; spider@mozdex.com)
【robots.txt】
UAのURLたどったら404…ｗ　dmoz.org関係か？　Nutch関係とかー。
Mozillaなデザインサイト。

【日時】2005/10/08 03:59:27
【ホスト】64.62.168.14
【UA】Gigabot/2.0
【robots.txt】

【日時】2005/10/08 01:17:40
【ホスト】202.181.106.75
【UA】DoCoMo/J-PHONE/KDDI/1.0 (CROOZ)
【robots.txt】
携帯用検索エンジン。軽いとPCサイトも引っかかるｗｗｗ　そこの振り分け具合が微妙だよな。

18 ：猫谷 ：2005/10/12(Wed) 18:14 ID:Au/lc.b2

【日時】2005/10/12 15:04:29
【ホスト】64.34.145.197
【UA】SBIder/0.8-dev (SBIder; http://www.sitesell.com/sbider.html; http://support.sitesell.com/contact-support.html)
【robots.txt】User-agent: SBIder

19 ：猫谷 ：2005/11/01(Tue) 00:00 ID:iR.Ho5Nc

【日時】2005/10/31 23:47:03
【ホスト】sv-crawl.looksmart.com
【UA】Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com)
【robots.txt】

んー、ロボット多いなァ。ichiroはたまに来てるね。

20 ：猫谷 ：2005/12/03(Sat) 00:53 ID:KY/Jolw.

【日時】2005/12/03 00:47:27
【ホスト】link.enhancededge.com
【UA】NutchCVS/0.7.1 (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)
【robots.txt】User-agent: Nutch

Nutchっていろいろあるんかな？

13KB

read.php ver2 (2004/1/26) + riaf web