2010年10月31日() << 前の日記 | 次の日記 >>
これまでの10月31日 編集

■1 シリーズ・クロールとDoSの違いと業務妨害罪と(26) - 図書館WebサイトROBOTS.TXTについてのご案内[http://www.nantoka.com/~kei/diary/?20101029S1][LibraHack][電子自治体][図書館][セキュリティ] このエントリーをはてなブックマークに追加

図書館WebサイトROBOTS.TXTについてのご案内三菱電機インフォメーションシステムズが、9月14日付けで図書館各位宛に出した「図書館WebサイトROBOTS.TXTについてのご案内」という文書を入手した。 「ROBOTS.TXT」と大文字にしてしまってはまずいと思うのだが、なぜか大文字だ。
内容は既に、 2010年10月29日 17:07からのTweet[http://twitter.com/keikuma/status/29067328341] で記述したが、まとめて採録しておく。
robots.txt(goo、Google、Lycos などの ロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。)についてですが、当初弊社では 基本全て隠すことを前提として設計設定しておりました。
しかし、今年4月から国立国会図書館法が改正施行され、地方公共団体のWebページ情報の ロボット(クローラ)による自動収集を始めた。これを妨げる「ロボット除け」対策をしている地方図書館向けに、国立国会図書館のクローラを全フォルダに対し許容するよう、設定を書き換える指示を出していることを踏まえ、弊社としましても、 基本全て公開とする方針といたしました。
ついては、貴館にてサイト内のページ公開・非公開を確認・決定した上で、設定を実施していきたいと考えております。設定実施日ついては、貴館の都合に合わせて実施したく考えております。設定に際し、サーバの停止作業は発生いたしません。
「基本全て」とか「自動収集を始めた」とか、日本語がおかしいのはさておき、「ロボットに対する命令」「データベースに登録されないように指示します」「全て隠す」という説明は誤解を招くように思う。 robots.txtは何かを隠すと言うよりも、ロボットが迷わないで済むように設置するもの だからだ。
本当に隠したいコンテンツには、認証を設けるべきだし、 robots.txtに置き場所を書くなんてもっての外 だ。
以前に、 コピペ図書館問題[http://www.nantoka.com/~kei/diary/?20101005S1] を取り上げた際に、各図書館のページにある隠されたコンテンツを探し出すのに非常に役に立ったのが、まさにrobots.txtだった。
とある図書館に設置されていた、robots.txtの一部を以下に示す。
User-agent: *
Disallow: /tosho/
Disallow: /tosho/Acclog/
Disallow: /tosho/AdminTools/
Disallow: /tosho/Asp/ Disallow: /tosho/asp_misty/
Disallow: /tosho/Newbook/ Disallow: /tosho/text/ Disallow: /tosho/html/ Disallow: /tosho/i/Asp Disallow: /tosho/i/Newbook/ Disallow: / Disallow: /Acclog/
Disallow: /AdminTools/
Disallow: /Asp/ Disallow: /asp_misty/
Disallow: /Newbook/ Disallow: /html/ Disallow: /text/ Disallow: /i/Asp Disallow: /i/Newbook/
アクセスされると危険そうなパスが、明らかにされていることが分かる。
あるいは、ひょっとすると、 robots.txtで中身を隠せると本当に思っていたのかも知れない。

■ 関連記事

今日のつぶやき

以上、1 日分です。

指定日の日記を表示

前月 2010年10月 翌月
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

最近の日記

2019年04月01日

新元号「令和」について

2019年03月23日

DXアンテナ ワイヤレスチューナー メディアコンセント DMC10F1

2019年02月17日

#例のグラボを活用する

2019年01月03日

シリーズ5・myHomeAlexaで自分のCDをかける

2018年12月25日

シリーズ4・英語の楽曲・アルバム・アーティスト名をカタカナに直す

2018年12月23日

シリーズ3: Echo Dotがやってきた

2018年12月19日

続・Echo Dotがやってきた

分野別タイトル一覧


全て
CLIP
SYA!nikki
book
freebsd
hns
magic
おさけ
おしごと
お買いもの
ぐる
ごはん
アクセシビリティ
オープンソース
セキュリティ
音楽
地域情報化
電子自治体
日記

keikuma on Twitter

keikuma Name:前田勝之
Location:長崎市
Web:http://www.nantok...
Bio:前田勝之(まえだかつゆき)。長崎在住。コンサル、SE、プログラマー、 なんとか株式会社代表、非常勤講師(情報セキュリティ)。 セキュアド、テクニカルエンジニア(SV,NW)。サーバ管理とWeb日記を10年ほど。 ネットとリアルの接点に関心あり。食べること・歌うこと・愛すること・作ること・飲むこと。おいしいものがぜんぶすき。

サイト内検索

Google AdSense

Powered by hns-2.19.9, HyperNikkiSystem Project