スポンサーリンク

■掲示板に戻る■ 全部 1- 最新50 RSS レス削除

Robots&Crawlerメモスレ

1 :猫谷美甘 :2005/08/09(Tue) 21:34 ID:????????
ロボットとクローラーメモ用。
日時、UA、ホストを記述〜。
2 :猫谷美甘@管理人 ★ :2005/08/09(Tue) 21:35 ID:????????
【日時】2005/08/09 06:41:13
【ホスト】cr1.turnitin.com
【UA】TurnitinBot/2.0 http://www.turnitin.com/robot/crawlerinfo.html
3 :猫谷美甘@管理人 ★ :2005/08/09(Tue) 21:36 ID:????????
あ、http://www.tailtame.com/private/memo/bot.html用です。
記述の仕方を変えようと収集〜。しかし、slurp?来すぎー。
4 :猫谷美甘 :2005/08/21(Sun) 16:52 ID:????????
【日時】2005/08/21 08:19:09
【ホスト】egspd42224.ask.com
【UA】Mozilla/2.0 (compatible; Ask Jeeves/Teoma)
ask.jpのロボット。ここプレビュー取るんですよねー。
5 :猫谷美甘 :2005/08/22(Mon) 18:17 ID:????????
テンプレ(;´Д`)
【日時】
【ホスト】
【UA】
6 :猫谷美甘 :2005/08/22(Mon) 18:18 ID:????????
【日時】2005/08/22 18:09:32
【ホスト】career.drecom.jp
【UA】Drecombot/1.0 (http://career.drecom.jp/bot.html)
7 :猫谷美甘 :2005/08/22(Mon) 18:20 ID:????????
【日時】2005/08/22 17:29:01
【ホスト】ns.hatena.ne.jp
【UA】Hatena Antenna/0.4 (http://a.hatena.ne.jp/help)
1度に2回でアクセスあって、4回くらい来るんだっけ。
8 :猫谷美甘 :2005/08/25(Thu) 10:25 ID:????????
【日時】200508/25 10:17:10
【ホスト】ip-216-69-177-55.ip.secureserver.net
【UA】GOFORITBOT ( http://www.goforit.com/about/ )
9 :猫谷美甘 :2005/08/25(Thu) 10:27 ID:????????
【日時】200508/25 08:56:23
【ホスト】lj2579.inktomisearch.com
【UA】Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
msnよりよく来る(;´Д`)
の割には人が来な(ry
10 :猫谷美甘 :2005/08/26(Fri) 16:56 ID:????????
【日時】200508/26 16:45:01
【ホスト】crawl29-public.alexa.com
【UA】ia_archiver
Internet archiveだー(*´Д`)
って弾くの忘れてるし。ついでにこれも↓
【robots.txt】User-agent: ia_archiver
11 :猫谷美甘 :2005/08/26(Fri) 17:04 ID:????????
にゅーテンプレ
【日時】
【ホスト】
【UA】
【robots.txt】
これだけありゃいいでしょう〜。
PHP Analyzerで見つけてます。Analogは時間とかわからないのでパスー。まあ、時間はなくてもいいんですけどね。
12 :猫谷美甘 :2005/08/26(Fri) 17:06 ID:????????
【日時】2005/08/26 11:41:16
【ホスト】crawl-66-249-64-54.googlebot.com
【UA】Googlebot/2.1 (+http://www.google.com/bot.html)
【robots.txt】User-Agent: Googlebot
googleの。robots.txtは色々とあるんでひとつだけ一応。
13 :猫谷美甘 :2005/08/27(Sat) 14:46 ID:????????
【日時】2005/08/27 14:11:12
【ホスト】ia109108.archive.org
【UA】NutchCVS/0.06-dev (Nutch; http://www.nutch.org/docs/en/bot.html; nutch-agent@lists.sourceforge.net)
【robots.txt】
ホストがarchive.org……んー?
【日時】2005/08/27 14:22:27 (x2)
【ホスト】ns.hatena.ne.jp
【UA】Hatena Antenna/0.4 (http://a.hatena.ne.jp/help)
【robots.txt】User-agent: Hatena Antenna
1度に2回アクセスがあって1日4回のアクセスで計8回。
リロ可なカウンターだったら8hitプラスされそうだ(´¬`*
画像カウンターならOKなんだっけ。
サイト運営情報 - 自分のサイトを更新チェックされたくない
http://hatenaantenna.g.hatena.ne.jp/keyword/%e8%87%aa%e5%88%86%e3%81%...
はてなアンテナ使ってみようかなー(´¬`*
14 :猫谷美甘 :2005/09/02(Fri) 21:22 ID:????????
【日時】2005/09/02 07:55:42
【ホスト】64.124.85.75.become.com
【UA】Mozilla/5.0 (compatible; BecomeBot/2.3; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)
【robots.txt】User-agent: BecomeBot
どこから来たのかリファ残していきます(;´Д`)メズラシ
15 :猫谷美甘 :2005/09/02(Fri) 21:24 ID:????????
【日時】2005/09/02 15:34:05
【ホスト】65.19.150.218
【UA】OmniExplorer_Bot/3.94b (+http://www.omni-explorer.com) WorldIndexer
【robots.txt】User-Agent: OmniExplorer_Bot
最近は『Crawl-delay: 2』ってrobots.txtでクロール日数を指定できるのかー。
上のBecomeBotとかも。
16 :猫谷美甘 :2005/10/04(Tue) 01:37 ID:????????
そいや、ひさびさにitiroが来てた…。gooは再会する気か(;´Д`)?
17 :猫谷 :2005/10/08(Sat) 07:54 ID:N/zv3cYo
【日時】2005/10/08 06:14:44
【ホスト】sky.siraza.net
【UA】wbdbot
【robots.txt】
情報なし。UAでぐぐったら、ボットやらが入室してるチャットが…(;´Д`)使いたくねぇ

【日時】2005/10/08 05:35:51
【ホスト】unknown.sagonet.net
【UA】Mozdex/0.7.2-dev (Mozdex; http://www.mozdex.com/bot.html; spider@mozdex.com)
【robots.txt】
UAのURLたどったら404…w dmoz.org関係か? Nutch関係とかー。
Mozillaなデザインサイト。

【日時】2005/10/08 03:59:27
【ホスト】64.62.168.14
【UA】Gigabot/2.0
【robots.txt】

【日時】2005/10/08 01:17:40
【ホスト】202.181.106.75
【UA】DoCoMo/J-PHONE/KDDI/1.0 (CROOZ)
【robots.txt】
携帯用検索エンジン。軽いとPCサイトも引っかかるwww そこの振り分け具合が微妙だよな。
18 :猫谷 :2005/10/12(Wed) 18:14 ID:Au/lc.b2
【日時】2005/10/12 15:04:29
【ホスト】64.34.145.197
【UA】SBIder/0.8-dev (SBIder; http://www.sitesell.com/sbider.html; http://support.sitesell.com/contact-support.html)
【robots.txt】User-agent: SBIder
19 :猫谷 :2005/11/01(Tue) 00:00 ID:iR.Ho5Nc
【日時】2005/10/31 23:47:03
【ホスト】sv-crawl.looksmart.com
【UA】Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com)
【robots.txt】

んー、ロボット多いなァ。ichiroはたまに来てるね。
20 :猫谷 :2005/12/03(Sat) 00:53 ID:KY/Jolw.
【日時】2005/12/03 00:47:27
【ホスト】link.enhancededge.com
【UA】NutchCVS/0.7.1 (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)
【robots.txt】User-agent: Nutch

Nutchっていろいろあるんかな?
21 :猫谷 :2005/12/06(Tue) 17:57 ID:2nrUhKOU
【日時】2005/12/06 09:02:46
【ホスト】n23.m53.ix1.co.jp
【UA】Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts-AskJeevesJapan; MSIECrawler)
【robots.txt】
Ask.jpのロボット? 同じ時間に2回アクセス…ページ数が多いと迷惑だな。
22 :猫谷 :2005/12/15(Thu) 12:07 ID:xBmrd80c
UAだけだが。
Y!J/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15.html)

Mozilla/4.0 (compatible; Y!J; for robot study; keyoshid)

Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

yahoo多すぎ。国別まで出たか。
23 :猫谷 :2005/12/25(Sun) 10:35 ID:2nrUhKOU
ロボット違うけど、ゲーム機?(・∀・)
Mozilla/4.0 (PSP (PlayStation Portable); 2.00)
LinksBoks/0.99 (Xbox; d3dx)
どんな表示するのかなぁ。横長だと切れそうだ。
24 :あぼーん :あぼーん
あぼーん
25 :名無しさん :2006/03/28(Tue) 03:59 ID:eyD8Kk76
あらいやだw スパム来てるよ
26 :名無しさん :2006/04/10(Mon) 01:12 ID:2KVOYIRs
2006/4/10 01:04:18 node-025164.ext.ameba.jp AmebaBot/1.0 (http://buzz.ameba.jp/)
こんなん来てた。アメーバのクチコミ評判検索らしい。
27 :猫谷 :2006/04/10(Mon) 01:14 ID:2KVOYIRs
すごく…重いです。面倒なので↑表記にしてみる。
yahooがまた違うボット送ってる気がするんだけどなぁ…なんだろ。
28 :猫谷 ◆gdTyBLU/k. :2006/04/24(Mon) 03:41 ID:wVA0ztZQ
スパムがひでーので海外のホストを規制してみるのテスト。
つーか、.jp、ヤフーのみを許可した方が早い気がする(´Д`;)
携帯でもログインできて便利だなァ…
29 :名無しさん :2006/04/24(Mon) 21:21 ID:8Z8IMpa6
テスト。スパム多過ぎや
30 :猫谷 ◆gdTyBLU/k. :2006/05/01(Mon) 09:56 ID:UikZFSq6
あまりにもウザイので、いたちごっこになってるし、
.htaccessをJapanese Onlyとしました。今までは来てたログで削除してたのだ。
あ、Robotsも受け付けなくなるか……それはそれなりに適応っと。

#こんな感じに書いてみました。エラー出るかなー(^^;
Order Allow,Deny
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
Deny from from all
31 :猫谷 ◆gdTyBLU/k. :2006/05/01(Mon) 10:00 ID:UikZFSq6
ロボットが来たログは…放置でいいか。
スレッド型BBSは削除してもログが残って便利ですねー。

>>63
…書き込めないと思ったら間違えてた orz
正しくは下のようにー。

#日本とお行儀のいい?ロボット以外を弾いてみるのテスト。串も弾くね。
Order Deny,Allow
Deny from from all
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
32 :猫谷 ◆gdTyBLU/k. :2006/05/02(Tue) 17:02 ID:ATBkcbSk
Host制限がきかねぇ orz

p://php.s3.to/bbs/fstyle/read.php?key=1078469477
の110を参考に、
bbs.phpの”//ホスト、禁止ホスト ”の下に”// 禁止ワード”を追加してみました。とりあえず”<a href=”と” mp3”をしてみる。
数日開けるからなー。トップスレは削除できても、スレ内削除は辛いです。パケとかパケとか。
33 :猫谷 ◆gdTyBLU/k. :2006/05/02(Tue) 18:52 ID:3OKdngXA
おかしいと思ったら、Deny from from allってなんやねん orz
from fromじゃねー。
改訂版↓
#日本とお行儀のいい?ロボット以外を弾いてみるのテスト。串も弾くね。
Order Deny,Allow
Deny from all
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from iyahoo.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
Allow from nifty.com #nifty
Allow from 221.186.129.145 #はてなRSS
34 :猫谷 ◆gdTyBLU/k. :2006/05/07(Sun) 15:24 ID:J2V9kyjM
邪魔なのでログから削除してみた。-70レスくらい…(´Д`;)
立てられたスレは100くらい(´Д`;)
35 :猫谷 :2006/06/09(Fri) 03:28 ID:6dQwGcA6
216.255.229.228 Robo Crawler 6.4.5 (robocrawler@bb.softbank.co.jp)
36 :猫谷 :2006/06/11(Sun) 11:27 ID:XH.DP7d2
mail.visvo.com Anonymous/0.0 (Anonymous; http://www.anonymous.com; noreply@anonymous.com)
なんとなくボットくさいのでー。とりあえずdenyとっこ ヽ( ´ー`)ノ

ひさびさのボット書き込みが(´Д`;)
37 :猫谷 :2006/06/21(Wed) 15:55 ID:yiLUvoAI
gooのichiroって画像・動画収集ロボットだったのかー
ttp://help.goo.ne.jp/door/crawler.html/
へぇ
38 :猫谷 :2006/07/05(Wed) 13:19 ID:fuM7nbYM
tschild.de | Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; ODP entries test; ttp://tuezilla.de/test-odp-entries-agent.html)
OpenDirectoryのロボットみたいー。
39 :猫谷 :2006/07/12(Wed) 19:29 ID:jpkGBBnQ
mc-out-f136.google.com | Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Google Wireless Transcoder;)
これなんだろう。
携帯用っぽいのかな。
40 :猫谷 :2006/07/18(Tue) 21:59 ID:rUseEg5Y
crd04.jmob.search.scd.yahoo.com | KDDI-CA23 UP.Browser/6.2.0.5 (compatible; KDDI-TS24 UP. Browser/6.0.8.2 (GUI) MMP/1.1; YahooSeeker)
携帯yahoo botキターヽ(*´ー`)ノ
41 :猫谷 :2006/07/20(Thu) 06:59 ID:fuM7nbYM
06:22:23 | crd03.jmob.search.scd.yahoo.com DoCoMo/1.0/SO502i (compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
06:04:06 | crd09.jmob.search.scd.yahoo.com J-Phone/5.0/J-SH03 (compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
42 :猫谷 :2006/07/20(Thu) 06:59 ID:fuM7nbYM
ん、いらんものまでコピーしたなぁ。まあいいかヽ( ´ー`)ノ
43 :猫谷 :2006/09/21(Thu) 06:06 ID:wInnNVXo
http://images.google.co.jp/imgres
http://images.google.com/imgres
これはイメージ検索か。一応対応しておくか?
44 :名無しさん :2006/10/02(Mon) 13:35 ID:cfvZi/J.
bl1sch4061220.phx.gbl | msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
MSNの画像ロボット?
45 :猫谷 :2006/10/02(Mon) 14:44 ID:hHO.mBUU
ファンタジーな100のお題
http://www.geocities.jp/e_e_eggs/100txt/

365題 昔からある365題なサイト
http://365.flowerjelly.com/


探してるサイトがあるんだけどどこに行ったアドレス orz
46 :猫谷 :2006/10/02(Mon) 14:47 ID:hHO.mBUU
書くとこ間違えてら(´Д`;)
47 :名無しさん :2006/11/09(Thu) 08:20 ID:???
133.9.238.89 e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)
別ドメインの小規模サイトだからアクセスがアホみたいに多いぞ(´Д`;)
48 :猫谷 :2006/11/19(Sun) 03:47 ID:.3RqUzFc
スパムネタもここでいいか
*.ap.gmo-access.jp
*.ap.yournet.ne.jp
を弾くと幸せになれるかな。下は普通にアクセスあるっぽいんですよねー

メモメモ
http://photo.site-j.net/tubuyaki/vol239.html
49 :猫谷 :2006/12/08(Fri) 14:26 ID:Y7Cdh4jY
not
Content-Transfer-Encoding: 7bit
Content-Type: text/html
Subject: bone
bcc: klebacqz@driveringmandi.com

the ude in the east

(改行略)

7d533b3fc8f1c1477d533666fb40bd28
.

web拍手から。こんなスパムが多い。メールアドレス風がなぁ。
50 :あぼーん :あぼーん
あぼーん
51 :あぼーん :あぼーん
あぼーん
52 :あぼーん :あぼーん
あぼーん
53 :あぼーん :あぼーん
あぼーん
54 :あぼーん :あぼーん
あぼーん
55 :あぼーん :あぼーん
あぼーん
56 :あぼーん :あぼーん
あぼーん
57 :あぼーん :あぼーん
あぼーん
58 :あぼーん :あぼーん
あぼーん
59 :あぼーん :あぼーん
あぼーん
60 :あぼーん :あぼーん
あぼーん
61 :あぼーん :あぼーん
あぼーん
62 :あぼーん :あぼーん
あぼーん
63 :あぼーん :あぼーん
あぼーん
64 :あぼーん :あぼーん
あぼーん
65 :猫谷 ◆gdTyBLU/k. :2007/01/05(Fri) 07:37 ID:juXmrgpg
Shim-Crawler(Mozilla-compatible; http://www.logos.ic.i.u-tokyo.ac.jp/crawler/; crawl@logos.ic.i.u-tokyo.ac.jp)

Steeler/3.2 (http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)

Mozilla/5.0 (compatible; BecomeBot/2.3; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)

Twiceler www.cuill.com/twiceler/robot.html

SafariBookmarkChecker/1.30 (+http://www.coriolis.ch/)

Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)

最近増えたよな。海外産は弾こうかな、とも。
66 :あぼーん :あぼーん
あぼーん
67 :あぼーん :あぼーん
あぼーん
68 :あぼーん :あぼーん
あぼーん
69 :あぼーん :あぼーん
あぼーん
70 :あぼーん :あぼーん
あぼーん
71 :猫谷 ◆gdTyBLU/k. :2009/07/10(Fri) 21:55 ID:rEvGQ26o
host: crawl320.exabot.com
UA: Mozilla/5.0 (compatible; Exabot-Images/3.0; +http://www.exabot.com/go/robot)
referer: http://www.exalead.com/
robots.txt: "User-agent: Exabot"

いちいちリファラを入れてくるからエラー吐きまくり…。
とりあえず、ロボテキで追い払う。

72 :あぼーん :あぼーん
あぼーん
73 :あぼーん :あぼーん
あぼーん
74 :猫谷 ◆gdTyBLU/k. :2009/09/23(Wed) 12:43 ID:gV8WGNGE
host hk2-lr670024g.super-goo.com
DoCoMo/2.0 P900i(c100;TB;W24H11) (compatible; ichiro/mobile goo; +http://help.goo.ne.jp/help/article/1142/)

http://help.goo.ne.jp/help/article/1142/14/
携帯用かー。
75 :あぼーん :あぼーん
あぼーん
76 :あぼーん :あぼーん
あぼーん
77 :あぼーん :あぼーん
あぼーん
78 :あぼーん :あぼーん
あぼーん
79 :あぼーん :あぼーん
あぼーん
80 :あぼーん :あぼーん
あぼーん
81 :あぼーん :あぼーん
あぼーん
82 :あぼーん :あぼーん
あぼーん
83 :あぼーん :あぼーん
あぼーん
84 :みかも ◆gdTyBLU/k. :2016/01/18(Mon) 03:00 ID:br8E2Ask
ひさびさに…
17-142-157-172.applebot.apple.com
1
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/600.2.5 (KHTML, like Gecko) Version/8.0.2 Safari/600.2.5 (Applebot/0.1; +http://www.apple.com/go/applebot)
2
Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B410 Safari/600.1.4 (Applebot/0.1; +http://www.apple.com/go/applebot)

15KB


新着レスの表示

スポンサーリンク

掲示板に戻る 全部 ↑先頭 レス削除
名前: E-mail(省略可) PASS:

名前欄「◆gdTyBLU/k.」のトリップは管理人の書き込みです。名前は空の匿名でも問題ありません。

Script: freeStyle bbs byレッツPHP! + riaf web + tailtame