■掲示板に戻る■ 全部 1- 最新50 RSS レス削除

Robots＆Crawlerメモスレ

1 ：猫谷美甘 ：2005/08/09(Tue) 21:34 ID:????????

ロボットとクローラーメモ用。
日時、UA、ホストを記述〜。

18 ：猫谷 ：2005/10/12(Wed) 18:14 ID:Au/lc.b2

【日時】2005/10/12 15:04:29
【ホスト】64.34.145.197
【UA】SBIder/0.8-dev (SBIder; http://www.sitesell.com/sbider.html; http://support.sitesell.com/contact-support.html)
【robots.txt】User-agent: SBIder

19 ：猫谷 ：2005/11/01(Tue) 00:00 ID:iR.Ho5Nc

【日時】2005/10/31 23:47:03
【ホスト】sv-crawl.looksmart.com
【UA】Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com)
【robots.txt】

んー、ロボット多いなァ。ichiroはたまに来てるね。

20 ：猫谷 ：2005/12/03(Sat) 00:53 ID:KY/Jolw.

【日時】2005/12/03 00:47:27
【ホスト】link.enhancededge.com
【UA】NutchCVS/0.7.1 (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)
【robots.txt】User-agent: Nutch

Nutchっていろいろあるんかな？

21 ：猫谷 ：2005/12/06(Tue) 17:57 ID:2nrUhKOU

【日時】2005/12/06 09:02:46
【ホスト】n23.m53.ix1.co.jp
【UA】Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts-AskJeevesJapan; MSIECrawler)
【robots.txt】
Ask.jpのロボット？　同じ時間に2回アクセス…ページ数が多いと迷惑だな。

22 ：猫谷 ：2005/12/15(Thu) 12:07 ID:xBmrd80c

UAだけだが。
Y!J/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15...
と
Mozilla/4.0 (compatible; Y!J; for robot study; keyoshid)
と
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

yahoo多すぎ。国別まで出たか。

23 ：猫谷 ：2005/12/25(Sun) 10:35 ID:2nrUhKOU

ロボット違うけど、ゲーム機？(・∀・)
Mozilla/4.0 (PSP (PlayStation Portable); 2.00)
LinksBoks/0.99 (Xbox; d3dx)
どんな表示するのかなぁ。横長だと切れそうだ。

24 ：あぼーん ：あぼーん

あぼーん

25 ：名無しさん ：2006/03/28(Tue) 03:59 ID:eyD8Kk76

あらいやだｗ　スパム来てるよ

26 ：名無しさん ：2006/04/10(Mon) 01:12 ID:2KVOYIRs

2006/4/10 01:04:18 node-025164.ext.ameba.jp AmebaBot/1.0 (http://buzz.ameba.jp/)
こんなん来てた。アメーバのクチコミ評判検索らしい。

27 ：猫谷 ：2006/04/10(Mon) 01:14 ID:2KVOYIRs

すごく…重いです。面倒なので↑表記にしてみる。
yahooがまた違うボット送ってる気がするんだけどなぁ…なんだろ。

28 ：猫谷 ◆gdTyBLU/k. ：2006/04/24(Mon) 03:41 ID:wVA0ztZQ

スパムがひでーので海外のホストを規制してみるのテスト。
つーか、.jp、ヤフーのみを許可した方が早い気がする(´Д｀；)
携帯でもログインできて便利だなァ…

29 ：名無しさん ：2006/04/24(Mon) 21:21 ID:8Z8IMpa6

テスト。スパム多過ぎや

30 ：猫谷 ◆gdTyBLU/k. ：2006/05/01(Mon) 09:56 ID:UikZFSq6

あまりにもウザイので、いたちごっこになってるし、
.htaccessをJapanese Onlyとしました。今までは来てたログで削除してたのだ。
あ、Robotsも受け付けなくなるか……それはそれなりに適応っと。

#こんな感じに書いてみました。エラー出るかなー(^^;
Order Allow,Deny
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
Deny from from all

31 ：猫谷 ◆gdTyBLU/k. ：2006/05/01(Mon) 10:00 ID:UikZFSq6

ロボットが来たログは…放置でいいか。
スレッド型BBSは削除してもログが残って便利ですねー。

>>63
…書き込めないと思ったら間違えてた orz
正しくは下のようにー。

#日本とお行儀のいい？ロボット以外を弾いてみるのテスト。串も弾くね。
Order Deny,Allow
Deny from from all
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN

32 ：猫谷 ◆gdTyBLU/k. ：2006/05/02(Tue) 17:02 ID:ATBkcbSk

Host制限がきかねぇ orz

p://php.s3.to/bbs/fstyle/read.php?key=1078469477
の110を参考に、
bbs.phpの”//ホスト、禁止ホスト ”の下に”// 禁止ワード”を追加してみました。とりあえず”＜a href=”と” mp3”をしてみる。
数日開けるからなー。トップスレは削除できても、スレ内削除は辛いです。パケとかパケとか。

33 ：猫谷 ◆gdTyBLU/k. ：2006/05/02(Tue) 18:52 ID:3OKdngXA

おかしいと思ったら、Deny from from allってなんやねん orz
from fromじゃねー。
改訂版↓
#日本とお行儀のいい？ロボット以外を弾いてみるのテスト。串も弾くね。
Order Deny,Allow
Deny from all
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from iyahoo.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
Allow from nifty.com #nifty
Allow from 221.186.129.145 #はてなRSS

34 ：猫谷 ◆gdTyBLU/k. ：2006/05/07(Sun) 15:24 ID:J2V9kyjM

邪魔なのでログから削除してみた。-70レスくらい…(´Д｀；)
立てられたスレは100くらい(´Д｀；)

35 ：猫谷 ：2006/06/09(Fri) 03:28 ID:6dQwGcA6

216.255.229.228 Robo Crawler 6.4.5 (robocrawler@bb.softbank.co.jp)

36 ：猫谷 ：2006/06/11(Sun) 11:27 ID:XH.DP7d2

mail.visvo.com Anonymous/0.0 (Anonymous; http://www.anonymous.com; noreply@anonymous.com)
なんとなくボットくさいのでー。とりあえずdenyとっこ ヽ( ´ー｀)ノ

ひさびさのボット書き込みが(´Д｀；)

37 ：猫谷 ：2006/06/21(Wed) 15:55 ID:yiLUvoAI

gooのichiroって画像・動画収集ロボットだったのかー
ttp://help.goo.ne.jp/door/crawler.html/
へぇ

38 ：猫谷 ：2006/07/05(Wed) 13:19 ID:fuM7nbYM

tschild.de | Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; ODP entries test; ttp://tuezilla.de/test-odp-entries-agent.html)
OpenDirectoryのロボットみたいー。

39 ：猫谷 ：2006/07/12(Wed) 19:29 ID:jpkGBBnQ

mc-out-f136.google.com | Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Google Wireless Transcoder;)
これなんだろう。
携帯用っぽいのかな。

40 ：猫谷 ：2006/07/18(Tue) 21:59 ID:rUseEg5Y

crd04.jmob.search.scd.yahoo.com | KDDI-CA23 UP.Browser/6.2.0.5 (compatible; KDDI-TS24 UP. Browser/6.0.8.2 (GUI) MMP/1.1; YahooSeeker)
携帯yahoo botｷﾀｰヽ(*´ー｀)ノ

41 ：猫谷 ：2006/07/20(Thu) 06:59 ID:fuM7nbYM

06:22:23 | crd03.jmob.search.scd.yahoo.com DoCoMo/1.0/SO502i (compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
06:04:06 | crd09.jmob.search.scd.yahoo.com J-Phone/5.0/J-SH03 (compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)

42 ：猫谷 ：2006/07/20(Thu) 06:59 ID:fuM7nbYM

ん、いらんものまでコピーしたなぁ。まあいいかヽ( ´ー｀)ノ

43 ：猫谷 ：2006/09/21(Thu) 06:06 ID:wInnNVXo

http://images.google.co.jp/imgres
http://images.google.com/imgres
これはイメージ検索か。一応対応しておくか？

44 ：名無しさん ：2006/10/02(Mon) 13:35 ID:cfvZi/J.

bl1sch4061220.phx.gbl | msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
MSNの画像ロボット？

45 ：猫谷 ：2006/10/02(Mon) 14:44 ID:hHO.mBUU

ファンタジーな１００のお題
http://www.geocities.jp/e_e_eggs/100txt/

365題　昔からある365題なサイト
http://365.flowerjelly.com/


探してるサイトがあるんだけどどこに行ったアドレス orz

46 ：猫谷 ：2006/10/02(Mon) 14:47 ID:hHO.mBUU

書くとこ間違えてら(´Д｀；)

47 ：名無しさん ：2006/11/09(Thu) 08:20 ID:???

133.9.238.89 e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)
別ドメインの小規模サイトだからアクセスがアホみたいに多いぞ(´Д｀；)

48 ：猫谷 ：2006/11/19(Sun) 03:47 ID:.3RqUzFc

スパムネタもここでいいか
*.ap.gmo-access.jp
*.ap.yournet.ne.jp
を弾くと幸せになれるかな。下は普通にアクセスあるっぽいんですよねー

メモメモ
http://photo.site-j.net/tubuyaki/vol239.html

49 ：猫谷 ：2006/12/08(Fri) 14:26 ID:Y7Cdh4jY

not
Content-Transfer-Encoding: 7bit
Content-Type: text/html
Subject: bone
bcc: klebacqz@driveringmandi.com

the ude in the east

（改行略）

7d533b3fc8f1c1477d533666fb40bd28
.

web拍手から。こんなスパムが多い。メールアドレス風がなぁ。

50 ：あぼーん ：あぼーん

あぼーん

51 ：あぼーん ：あぼーん

あぼーん

52 ：あぼーん ：あぼーん

あぼーん

53 ：あぼーん ：あぼーん

あぼーん

54 ：あぼーん ：あぼーん

あぼーん

55 ：あぼーん ：あぼーん

あぼーん

56 ：あぼーん ：あぼーん

あぼーん

57 ：あぼーん ：あぼーん

あぼーん

58 ：あぼーん ：あぼーん

あぼーん

59 ：あぼーん ：あぼーん

あぼーん

60 ：あぼーん ：あぼーん

あぼーん

61 ：あぼーん ：あぼーん

あぼーん

62 ：あぼーん ：あぼーん

あぼーん

63 ：あぼーん ：あぼーん

あぼーん

64 ：あぼーん ：あぼーん

あぼーん

65 ：猫谷 ◆gdTyBLU/k. ：2007/01/05(Fri) 07:37 ID:juXmrgpg

Shim-Crawler(Mozilla-compatible; http://www.logos.ic.i.u-tokyo.ac.jp/crawler/; crawl@logos.ic.i.u-tokyo.ac.jp)

Steeler/3.2 (http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)

Mozilla/5.0 (compatible; BecomeBot/2.3; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)

Twiceler www.cuill.com/twiceler/robot.html

SafariBookmarkChecker/1.30 (+http://www.coriolis.ch/)

Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)

最近増えたよな。海外産は弾こうかな、とも。

66 ：あぼーん ：あぼーん

あぼーん

67 ：あぼーん ：あぼーん

あぼーん

68 ：Verde ：2008/11/20(Thu) 01:53 ID:???

Whole Ass Amateur /

13KB

read.php ver2 (2004/1/26) + riaf web