スクレイピング

スクレイピングとは、主にwebサイトなどからデータを抽出することを指します。このスクレイピングという言葉には馴染みのないかたも大勢いらっしゃるかもしれませんが、実は日々私達が接しているデータの抽出方法でもあります。

例えば、グーグルなどで検索をするとその用語に関連するサイトが表示されるのは、検索された用語が含まれているサイトを抽出、つまりスクレイピングしているからに他なりません。こうしたスクレイピングが投資の世界にも最近では活かされています。

このスクレイピングでは株価や、出来高などの投資の必要な情報を定期的に特定のサイトから抽出することができます。

例えば、自分が口座を開いている証券会社に自動的にアクセスをし、注目している銘柄の情報をそこから取得し、テキスト形式などで保存するといったことが可能となります。

それによって、例えば複数の証券会社にまたいで保有している銘柄の情報を一括で管理することができるようになったり、会社四季報のデータを比較しやすいように表示させたりするといったことができるようになります。

このスクレイピングを行う際にはサイトによってはスクレイピングによって情報を入手することを禁止しているところがあることに注意が必要です。

このスクレイピングは、コンピューターによって自動的に情報を入手でき、その頻度も数秒ごとや1分ごと、10分ごとといったように指定することができます。

そのため、高い頻度で情報を自動的に入手する人たちが大勢現れてしまうと、サイトへの負担がかかってしまい、表示速度が遅くなってしまったり、場合によってサーバーがダウンしてしまうといったことが起こりえます。

そうしたことから、サイトによってはスクレイピングによる情報の入手を禁止している所があるため、スクレイピングによってデータを入手する場合にはその情報源がスクレイピングを禁止していないか確認した上で、情報の入手は相手のサーバーに負担がかかりすぎない頻度に設定しておく必要があります。