スポンサーリンク

世界中のウェブサイトがスクレイピングでデータの宝庫になる! 『Python 2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!』/森巧尚 (著)/翔泳社 – なぞるICT本

スポンサーリンク

こんにちは、まる3です。

この本は内容といいタイミングといいすごかったです(訳わからない)。ちょうど自分が所属している団体の活動の中で、とあるウェブサイトが不調をきたし、全ページの内容をチェックしなければならない事態が発生しまして、そんな中でこのウェブページのスクレイピングで、必要なURLだけを抽出したり、必要なヘッドラインの文字だけを抽出したり…ということが起きて、即本書にあるPythonのプログラム(といっても十数行だったり、多くでも30行くらいだったり)がすごく役に立ちまして。手作業でひとつひとつコピペしてたら何日かかっていただろう…な作業も本当にあっという間でした。

スポンサーリンク

Python2年生 スクレイピングのしくみ 体験してわかる!会話でまなべる!

ギャラリー

Bitly

目次

  • はじめに
  • 本書のサンプルのテスト環境
  • 本書の対象読者と2年生シリーズについて
  • 本書の読み方
  • サンプルファイルと特典データのダウンロードについて
  • 第1章 Pythonでデータをダウンロード
    • Lesson 01 スクレイピングってなに?
      • クローリングとスクレイピング
      • 気をつけないといけないこともある
      • robots.txtとは?
    • Lesson 02 Pythonをインストールしてみよう
      • Windowsにインストールする方法
      • macOSにインストールする方法
    • Lesson 03 requestsでアクセスしてみよう
      • ライブラリのインストール方法
      • HTMLファイルを読み込むプログラム
      • IDLEを起動しよう
      • プログラムを作ってみよう
      • テキストファイルに書き込む: open、close
      • テキストファイルに書き込む; with文
  • 第2章 HTMLを解析しよう
    • Lesson 04 HTMLを解析してみよう
      • Beautiful Soupをインストール
      • Beautiful Soupで解析する
      • タグを探して表示する
      • すべてのタフを探して表示する
      • idやclassで検索範囲を絞り込む
    • Lesson 05 ニュースの最新記事一覧を取得してみよう
      • デベロッパーツールを使って絞り込もう
    • Lesson 06 リンク一覧をファイルに書き出そう
      • すべてのリンクタフのhref属性を表示する
      • すべてのリンクタフのhref属性を絶対URLで表示する
      • リンク一覧自動作成プログラム
    • Lesson 07 画像を一括ダウンロードしよう
      • 画像ファイルを読み込んで保存する
      • ダウンロード用のフォルダを作って保存する
      • すべてのimgタグの画像ファイルURLを表示する
      • ページ内の画像を一括ダウンロードするプログラム
  • 第3章 表データを読み書きしよう
    • Lesson 08 pandasを使ってみよう
      • pandasをインストール
      • 表データってなに?
      • CSVファイルを読み込む
      • 列データ、行データを表示する
      • 列データ、行データを追加する
      • 列データ、行データを削除する
    • Lesson 09 さまざまなデータの加工
      • 必要な情報を抽出する
      • データを集計する
      • データを並べ替える
      • 行と列を入れ替える
      • CSVファイルに出力する
    • Lesson 10 ふら富で表示してみよう
      • matplotlibをインストール
      • グラフで表示する
      • さまざまな種類のグラフを表示する
      • 個別のデータをグラフで表示する
      • 棒グラフを画像ファイル出力する
    • Lesson 11 Excelファイルを読み書きしてみよう
      • openpyxkをインストール
      • Excelファイルに出力する
      • Excelファイルを読み込むk
  • 第4章 オープンデータを分析してみよう
    • Lesson 12 オープンデータってなに?
      • オープンデータは宝の山
    • Lesson 13 郵便局:郵便番号データ
      • CSVファイルを読み込む
      • データを抽出する
    • Lesson 14 e-Stat:政府統計の相互窓口
      • CSVファイルを読み込む
      • データをグラフで表示する
    • Lesson 15 キッズすたっと:探そう統計データ
      • CSVファイルを読み込む
      • データをグラフで表示する
    • Lesson 16 自治体のデータ:データシティ鯖江
      • CSVファイル(消火栓)を読み込む
      • foliumをインストール
      • 地図上に消火栓を表示
      • CSVファイル (店舗)を読み込む
      • 地図上に店舗を表示
  • 第5章 WebAPIでデータを取得しよう
    • Lesson 17 Web APIってなに?
      • 他のコンピュータの機能を利用する
    • Lesson 18 OpenWeatherMapってなに?
      • OpenWeatherMapサイトの利用手順
      • OpenWeatherMapを利用する
    • Lesson 19 現在の天気を調べよう
      • 都市名で指定して、天気を取得
      • JSONってなに?
      • JSONデータの書式
      • JSONデータを読み込む方法
      • 郵便番号で指定して、天気を取得する
    • Lesson 20 現在から5日間(3時間ごと)の天気を調べよう
      • 5日間の天気を取得してみよう
      • UTC(協定世界時)をJST(日本標準時)に変換
      • 5日間の気温をグラフで表示してみよう
      • さらに先へ進もう
  • 索引

関連リンク

ノート:備忘録

 

あわせて読みたい

書見台を買ったらプログラミング学習が脅威的に進みました!『Python 1年生 体験してわかる!会話でまなべる!プログラミングのしくみ』/森巧尚 (著)/翔泳社 - なぞるICT本
こんにちは、まる3です。 還暦もすぎて、いまさらプログラミング〜なんて何かおかしいですが、それでもやっぱり死ぬまでに作りたいものもあったりして、ぼちぼちとプログラミング関係の本を「なぞり」ながら、スキルを身につけたいと思っています。 「なぞ...
シビックテック、官民データ活用時代の最初の一歩『Python 2年生 データ分析のしくみ 体験してわかる! 会話でまなべる!』/森巧尚 (著)/翔泳社 - なぞるICT本
こんにちは、まる3です。 Python2年生スクレイピングのしくみ…をなぞり終わった後に、こちらのデータ分析のしくみに入ったのですが、たしかにおもしろい。なぞれる!できる!なのですが…何かこうスクレイピングのときほどの感動はいまひとつでした...

なぞるICT本の必須アイテム『書見台』

https://amzn.to/3oPSNW0
https://amzn.to/3ESYAje
Bitly

コメント

タイトルとURLをコピーしました