Robots＆Crawlerメモスレ

■掲示板に戻る■ 全部 1- 最新50 RSS レス削除

Robots＆Crawlerメモスレ

1 ：猫谷美甘 ：2005/08/09(Tue) 21:34 ID:????????: ロボットとクローラーメモ用。
日時、UA、ホストを記述～。
15 ：猫谷美甘 ：2005/09/02(Fri) 21:24 ID:????????: 【日時】2005/09/02 15:34:05
【ホスト】65.19.150.218
【UA】OmniExplorer_Bot/3.94b (+http://www.omni-explorer.com) WorldIndexer
【robots.txt】User-Agent: OmniExplorer_Bot
最近は『Crawl-delay: 2』ってrobots.txtでクロール日数を指定できるのかー。
上のBecomeBotとかも。
16 ：猫谷美甘 ：2005/10/04(Tue) 01:37 ID:????????: そいや、ひさびさにitiroが来てた…。gooは再会する気か(；´Д｀)？
17 ：猫谷：2005/10/08(Sat) 07:54 ID:N/zv3cYo: 【日時】2005/10/08 06:14:44
【ホスト】sky.siraza.net
【UA】wbdbot
【robots.txt】
情報なし。UAでぐぐったら、ボットやらが入室してるチャットが…(；´Д｀)使いたくねぇ

【日時】2005/10/08 05:35:51
【ホスト】unknown.sagonet.net
【UA】Mozdex/0.7.2-dev (Mozdex; http://www.mozdex.com/bot.html; spider@mozdex.com)
【robots.txt】
UAのURLたどったら404…ｗ　dmoz.org関係か？　Nutch関係とかー。
Mozillaなデザインサイト。

【日時】2005/10/08 03:59:27
【ホスト】64.62.168.14
【UA】Gigabot/2.0
【robots.txt】

【日時】2005/10/08 01:17:40
【ホスト】202.181.106.75
【UA】DoCoMo/J-PHONE/KDDI/1.0 (CROOZ)
【robots.txt】
携帯用検索エンジン。軽いとPCサイトも引っかかるｗｗｗ　そこの振り分け具合が微妙だよな。
18 ：猫谷：2005/10/12(Wed) 18:14 ID:Au/lc.b2: 【日時】2005/10/12 15:04:29
【ホスト】64.34.145.197
【UA】SBIder/0.8-dev (SBIder; http://www.sitesell.com/sbider.html; http://support.sitesell.com/contact-support.html)
【robots.txt】User-agent: SBIder
19 ：猫谷：2005/11/01(Tue) 00:00 ID:iR.Ho5Nc: 【日時】2005/10/31 23:47:03
【ホスト】sv-crawl.looksmart.com
【UA】Mozilla/4.0 compatible ZyBorg/1.0 (wn-14.zyborg@looksmart.net; http://www.WISEnutbot.com)
【robots.txt】

んー、ロボット多いなァ。ichiroはたまに来てるね。
20 ：猫谷：2005/12/03(Sat) 00:53 ID:KY/Jolw.: 【日時】2005/12/03 00:47:27
【ホスト】link.enhancededge.com
【UA】NutchCVS/0.7.1 (Nutch; http://lucene.apache.org/nutch/bot.html; nutch-agent@lucene.apache.org)
【robots.txt】User-agent: Nutch

Nutchっていろいろあるんかな？
21 ：猫谷：2005/12/06(Tue) 17:57 ID:2nrUhKOU: 【日時】2005/12/06 09:02:46
【ホスト】n23.m53.ix1.co.jp
【UA】Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; FunWebProducts-AskJeevesJapan; MSIECrawler)
【robots.txt】
Ask.jpのロボット？　同じ時間に2回アクセス…ページ数が多いと迷惑だな。
22 ：猫谷：2005/12/15(Thu) 12:07 ID:xBmrd80c: UAだけだが。
Y!J/1.0 (http://help.yahoo.co.jp/help/jp/search/indexing/indexing-15...
と
Mozilla/4.0 (compatible; Y!J; for robot study; keyoshid)
と
Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)

yahoo多すぎ。国別まで出たか。
23 ：猫谷：2005/12/25(Sun) 10:35 ID:2nrUhKOU: ロボット違うけど、ゲーム機？(・∀・)
Mozilla/4.0 (PSP (PlayStation Portable); 2.00)
LinksBoks/0.99 (Xbox; d3dx)
どんな表示するのかなぁ。横長だと切れそうだ。
24 ：あぼーん ：あぼーん: あぼーん
25 ：名無しさん ：2006/03/28(Tue) 03:59 ID:eyD8Kk76: あらいやだｗ　スパム来てるよ
26 ：名無しさん ：2006/04/10(Mon) 01:12 ID:2KVOYIRs: 2006/4/10 01:04:18 node-025164.ext.ameba.jp AmebaBot/1.0 (http://buzz.ameba.jp/)
こんなん来てた。アメーバのクチコミ評判検索らしい。
27 ：猫谷：2006/04/10(Mon) 01:14 ID:2KVOYIRs: すごく…重いです。面倒なので↑表記にしてみる。
yahooがまた違うボット送ってる気がするんだけどなぁ…なんだろ。
28 ：猫谷 ◆gdTyBLU/k. ：2006/04/24(Mon) 03:41 ID:wVA0ztZQ: スパムがひでーので海外のホストを規制してみるのテスト。
つーか、.jp、ヤフーのみを許可した方が早い気がする(´Д｀；)
携帯でもログインできて便利だなァ…
29 ：名無しさん ：2006/04/24(Mon) 21:21 ID:8Z8IMpa6: テスト。スパム多過ぎや
30 ：猫谷 ◆gdTyBLU/k. ：2006/05/01(Mon) 09:56 ID:UikZFSq6: あまりにもウザイので、いたちごっこになってるし、
.htaccessをJapanese Onlyとしました。今までは来てたログで削除してたのだ。
あ、Robotsも受け付けなくなるか……それはそれなりに適応っと。

#こんな感じに書いてみました。エラー出るかなー(^^;
Order Allow,Deny
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
Deny from from all
31 ：猫谷 ◆gdTyBLU/k. ：2006/05/01(Mon) 10:00 ID:UikZFSq6: ロボットが来たログは…放置でいいか。
スレッド型BBSは削除してもログが残って便利ですねー。

>>63
…書き込めないと思ったら間違えてた orz
正しくは下のようにー。

#日本とお行儀のいい？ロボット以外を弾いてみるのテスト。串も弾くね。
Order Deny,Allow
Deny from from all
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
32 ：猫谷 ◆gdTyBLU/k. ：2006/05/02(Tue) 17:02 ID:ATBkcbSk: Host制限がきかねぇ orz

p://php.s3.to/bbs/fstyle/read.php?key=1078469477
の110を参考に、
bbs.phpの”//ホスト、禁止ホスト ”の下に”// 禁止ワード”を追加してみました。とりあえず”＜a href=”と” mp3”をしてみる。
数日開けるからなー。トップスレは削除できても、スレ内削除は辛いです。パケとかパケとか。
33 ：猫谷 ◆gdTyBLU/k. ：2006/05/02(Tue) 18:52 ID:3OKdngXA: おかしいと思ったら、Deny from from allってなんやねん orz
from fromじゃねー。
改訂版↓
#日本とお行儀のいい？ロボット以外を弾いてみるのテスト。串も弾くね。
Order Deny,Allow
Deny from all
Allow from .jp #Japan ALL
Allow from bbtec.net #YahooBB
Allow from googlebot.com #Japan ALL
Allow from inktomisearch.com #Yahoo!
Allow from iyahoo.com #Yahoo!
Allow from ask.com #Ask
Allow from msn.com #MSN
Allow from phx.gbl #MSN
Allow from nifty.com #nifty
Allow from 221.186.129.145 #はてなRSS
34 ：猫谷 ◆gdTyBLU/k. ：2006/05/07(Sun) 15:24 ID:J2V9kyjM: 邪魔なのでログから削除してみた。-70レスくらい…(´Д｀；)
立てられたスレは100くらい(´Д｀；)
35 ：猫谷：2006/06/09(Fri) 03:28 ID:6dQwGcA6: 216.255.229.228 Robo Crawler 6.4.5 (robocrawler@bb.softbank.co.jp)
36 ：猫谷：2006/06/11(Sun) 11:27 ID:XH.DP7d2: mail.visvo.com Anonymous/0.0 (Anonymous; http://www.anonymous.com; noreply@anonymous.com)
なんとなくボットくさいのでー。とりあえずdenyとっこヽ( ´ー｀)ノ

ひさびさのボット書き込みが(´Д｀；)
37 ：猫谷：2006/06/21(Wed) 15:55 ID:yiLUvoAI: gooのichiroって画像・動画収集ロボットだったのかー
ttp://help.goo.ne.jp/door/crawler.html/
へぇ
38 ：猫谷：2006/07/05(Wed) 13:19 ID:fuM7nbYM: tschild.de | Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; ODP entries test; ttp://tuezilla.de/test-odp-entries-agent.html)
OpenDirectoryのロボットみたいー。
39 ：猫谷：2006/07/12(Wed) 19:29 ID:jpkGBBnQ: mc-out-f136.google.com | Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.0; Google Wireless Transcoder;)
これなんだろう。
携帯用っぽいのかな。
40 ：猫谷：2006/07/18(Tue) 21:59 ID:rUseEg5Y: crd04.jmob.search.scd.yahoo.com | KDDI-CA23 UP.Browser/6.2.0.5 (compatible; KDDI-TS24 UP. Browser/6.0.8.2 (GUI) MMP/1.1; YahooSeeker)
携帯yahoo botｷﾀｰヽ(*´ー｀)ノ
41 ：猫谷：2006/07/20(Thu) 06:59 ID:fuM7nbYM: 06:22:23 | crd03.jmob.search.scd.yahoo.com DoCoMo/1.0/SO502i (compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
06:04:06 | crd09.jmob.search.scd.yahoo.com J-Phone/5.0/J-SH03 (compatible; Mozilla 4.0; MSIE 5.5; YahooSeeker)
42 ：猫谷：2006/07/20(Thu) 06:59 ID:fuM7nbYM: ん、いらんものまでコピーしたなぁ。まあいいかヽ( ´ー｀)ノ
43 ：猫谷：2006/09/21(Thu) 06:06 ID:wInnNVXo: http://images.google.co.jp/imgres
http://images.google.com/imgres
これはイメージ検索か。一応対応しておくか？
44 ：名無しさん ：2006/10/02(Mon) 13:35 ID:cfvZi/J.: bl1sch4061220.phx.gbl | msnbot-media/1.0 (+http://search.msn.com/msnbot.htm)
MSNの画像ロボット？
45 ：猫谷：2006/10/02(Mon) 14:44 ID:hHO.mBUU: ファンタジーな１００のお題
http://www.geocities.jp/e_e_eggs/100txt/

365題　昔からある365題なサイト
http://365.flowerjelly.com/

探してるサイトがあるんだけどどこに行ったアドレス orz
46 ：猫谷：2006/10/02(Mon) 14:47 ID:hHO.mBUU: 書くとこ間違えてら(´Д｀；)
47 ：名無しさん ：2006/11/09(Thu) 08:20 ID:???: 133.9.238.89 e-SocietyRobot(http://www.yama.info.waseda.ac.jp/~yamana/es/)
別ドメインの小規模サイトだからアクセスがアホみたいに多いぞ(´Д｀；)
48 ：猫谷：2006/11/19(Sun) 03:47 ID:.3RqUzFc: スパムネタもここでいいか
*.ap.gmo-access.jp
*.ap.yournet.ne.jp
を弾くと幸せになれるかな。下は普通にアクセスあるっぽいんですよねー

メモメモ
http://photo.site-j.net/tubuyaki/vol239.html
49 ：猫谷：2006/12/08(Fri) 14:26 ID:Y7Cdh4jY: not
Content-Transfer-Encoding: 7bit
Content-Type: text/html
Subject: bone
bcc: klebacqz@driveringmandi.com

the ude in the east

（改行略）

7d533b3fc8f1c1477d533666fb40bd28
.

web拍手から。こんなスパムが多い。メールアドレス風がなぁ。
50 ：あぼーん ：あぼーん: あぼーん
51 ：あぼーん ：あぼーん: あぼーん
52 ：あぼーん ：あぼーん: あぼーん
53 ：あぼーん ：あぼーん: あぼーん
54 ：あぼーん ：あぼーん: あぼーん
55 ：あぼーん ：あぼーん: あぼーん
56 ：あぼーん ：あぼーん: あぼーん
57 ：あぼーん ：あぼーん: あぼーん
58 ：あぼーん ：あぼーん: あぼーん
59 ：あぼーん ：あぼーん: あぼーん
60 ：あぼーん ：あぼーん: あぼーん
61 ：あぼーん ：あぼーん: あぼーん
62 ：あぼーん ：あぼーん: あぼーん
63 ：あぼーん ：あぼーん: あぼーん
64 ：あぼーん ：あぼーん: あぼーん
65 ：猫谷 ◆gdTyBLU/k. ：2007/01/05(Fri) 07:37 ID:juXmrgpg: Shim-Crawler(Mozilla-compatible; http://www.logos.ic.i.u-tokyo.ac.jp/crawler/; crawl@logos.ic.i.u-tokyo.ac.jp)

Steeler/3.2 (http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)

Mozilla/5.0 (compatible; BecomeBot/2.3; MSIE 6.0 compatible; +http://www.become.com/site_owners.html)

Twiceler www.cuill.com/twiceler/robot.html

SafariBookmarkChecker/1.30 (+http://www.coriolis.ch/)

Mozilla/4.0 (compatible; NaverBot/1.0; http://help.naver.com/delete_main.asp)

最近増えたよな。海外産は弾こうかな、とも。

13KB

新着レスの表示

掲示板に戻る全部前50 次50 ↑先頭レス削除

read.php ver2 (2004/1/26) + riaf web