1. 弁護士ナビトップページ > 
  2. 無料法律相談Q&A > 
  3. インターネット関連 > 
  4. Twitterのクローリング，スクレイピングについて
インターネット関連

Twitterのクローリング，スクレイピングについて

この質問は[こちら](https://teratail.com/questions/226770)に投稿したものと同様です．


### Twitterの利用規約 (2019年12月2日時点)
Twitterの利用規約の解釈について知りたいです．
以下，[Twitterの利用規約4-(iii)](https://twitter.com/ja/tos)の抜粋
> Twitterから提供される（かつ該当する利用条件に従う場合にのみ提供される）、当社の現在利用可能な公開インターフェース以外の方法（自動プログラムか否かを問わない）で、本サービスへのアクセスもしくはその探索またはアクセスもしくは探索の試み（ただし、Twitterとの個別契約で特に許可されている場合は除く）（注：本サービスへのクローリングは、robots.txtファイルの定めによる場合は認められていますが、Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています）、

ここにおけるクローリングとスクレイピングについて，下記に示す例は規約違反になるかどうかを知りたいです．

私のクローリングとスクレイピングの理解は[このstackoverflowの記事](https://stackoverflow.com/questions/4327392/what-is-the-difference-between-web-crawling-and-web-scraping) の2番目の回答と同じです．また，twitterの[robots.txt](https://twitter.com/robots.txt)にも目を通しています．


### これらは違反になるのか？ 可能なら理由を添えて答えていただけると嬉しいです．
1. ウェブブラウザで`https://twitter.com/誰かのアカウント?lang=ja`にアクセスする．
2. ウェブブラウザで`https://twitter.com/誰かのアカウント?lang=ja`にアクセスした後，ページを保存する(Chromeの場合，Ctrl-S)．
3. Terminalから手動で`curl https://twitter.com/誰かのアカウント?lang=ja`を実行する．
4. Terminalから手動で`curl https://twitter.com/誰かのアカウント?lang=ja > out.txt`を実行し，htmlをテキストファイルに保存する．
5. `curl https://twitter.com/誰かのアカウント?lang=ja >> out.txt` を`cron`などで（1秒以上間隔を開けて）定期的に実行する．
6. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlをデータベースに保存する．
7. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlをデータベースに保存する．
8. 6, 7のプログラム終了した後，データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．
9. 6, 7のプログラムを実行しながら，データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．
10. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．
11. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り，得られたhtmlからYoutubeリンクのURLだけを抜きとり，その文字列を別のデータベースに保存する．


### おわりに
雑多な質問で恐縮ですが，お答えいただけると幸いです．
ちなみにまだ，上記の1.以外はいずれもまだ実行していません


### 補足
Python: プログラミング言語のひとつ
curl: HTTPリクエストを送るコマンド
requests: PythonからHTTPリクエストを送るためのライブラリ
selenium:

ID：10571　投稿日：2019/12/02 13:16:54　投稿：dark-eater-kei

違反報告

回答数 0件

この質問に回答する

投稿者

※弁護士として回答をする場合は、お手数ですがPC版よりログインしていただきPC版から回答をお願い致します。
質問への回答

※投稿前に必ず、利用の注意点･利用規約をご一読ください。

回答数ランキング

LEGAL CONSULTATION TOP 10

10位までを見る

閉じる