1. 弁護士ナビトップページ > 
  2. 無料法律相談Q&A > 
  3. インターネット関連 > 
  4. Twitterのクローリング,スクレイピングについて
インターネット関連

Twitterのクローリング,スクレイピングについて

この質問は[こちら](https://teratail.com/questions/226770)に投稿したものと同様です.


### Twitterの利用規約 (2019年12月2日時点)
Twitterの利用規約の解釈について知りたいです.
以下,[Twitterの利用規約4-(iii)](https://twitter.com/ja/tos)の抜粋
> Twitterから提供される(かつ該当する利用条件に従う場合にのみ提供される)、当社の現在利用可能な公開インターフェース以外の方法(自動プログラムか否かを問わない)で、本サービスへのアクセスもしくはその探索またはアクセスもしくは探索の試み(ただし、Twitterとの個別契約で特に許可されている場合は除く)(注:本サービスへのクローリングは、robots.txtファイルの定めによる場合は認められていますが、Twitterによる事前の同意がないまま本サービスのスクレイピングをすることは明示的に禁止されています)、

ここにおけるクローリングとスクレイピングについて,下記に示す例は規約違反になるかどうかを知りたいです.

私のクローリングとスクレイピングの理解は[このstackoverflowの記事](https://stackoverflow.com/questions/4327392/what-is-the-difference-between-web-crawling-and-web-scraping) の2番目の回答と同じです.また,twitterの[robots.txt](https://twitter.com/robots.txt)にも目を通しています.


### これらは違反になるのか? 可能なら理由を添えて答えていただけると嬉しいです.
1. ウェブブラウザで`https://twitter.com/誰かのアカウント?lang=ja`にアクセスする.
2. ウェブブラウザで`https://twitter.com/誰かのアカウント?lang=ja`にアクセスした後,ページを保存する(Chromeの場合,Ctrl-S).
3. Terminalから手動で`curl https://twitter.com/誰かのアカウント?lang=ja`を実行する.
4. Terminalから手動で`curl https://twitter.com/誰かのアカウント?lang=ja > out.txt`を実行し,htmlをテキストファイルに保存する.
5. `curl https://twitter.com/誰かのアカウント?lang=ja >> out.txt` を`cron`などで(1秒以上間隔を開けて)定期的に実行する.
6. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り,得られたhtmlをデータベースに保存する.
7. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り,得られたhtmlをデータベースに保存する.
8. 6, 7のプログラム終了した後,データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり,その文字列を別のデータベースに保存する.
9. 6, 7のプログラムを実行しながら,データベースに保存したhtmlからYoutubeリンクのURLだけを抜きとり,その文字列を別のデータベースに保存する.
10. Pythonのライブラリの`requests`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り,得られたhtmlからYoutubeリンクのURLだけを抜きとり,その文字列を別のデータベースに保存する.
11. Pythonのライブラリの`selenium`から`https://twitter.com/誰かのアカウント?lang=ja`に定期的にHTTP GETリクエストを送り,得られたhtmlからYoutubeリンクのURLだけを抜きとり,その文字列を別のデータベースに保存する.


### おわりに
雑多な質問で恐縮ですが,お答えいただけると幸いです.
ちなみにまだ,上記の1.以外はいずれもまだ実行していません


### 補足
Python: プログラミング言語のひとつ
curl: HTTPリクエストを送るコマンド
requests: PythonからHTTPリクエストを送るためのライブラリ
selenium:

ID:10571 投稿日:2019/12/02 13:16:54 投稿:dark-eater-kei

違反報告

回答数 0件

この質問に回答する

投稿者

※弁護士として回答を登録する方はログインしてから回答を投稿してください。

質問への回答

※投稿前に必ず、利用の注意点・利用規約をご一読ください。

新しく登録された法律事務所
  • 企業法務
  • 破産・倒産
  • 民事再生
  • 労働関連
  • 税務起訴
  • 遺言・相続
  • 建築・不動産
  • 借地借家問題
  • 交通事故
  • 医療過誤
  • 離婚問題
  • 行政起訴
  • 人権侵害
  • 国際問題
  • 名誉毀損
  • 著作権・知的財産権
  • 債務整理・自己破産
  • 消費者問題
  • インターネット関連
  • 債権回収
  • 損害賠償
  • 刑事事件
  • 少年事件
  • その他
質問する
初めての方
利用の注意点

回答数ランキング