こんにちは、まる３です。
この本は内容といいタイミングといいすごかったです（訳わからない）。ちょうど自分が所属している団体の活動の中で、とあるウェブサイトが不調をきたし、全ページの内容をチェックしなければならない事態が発生しまして、そんな中でこのウェブページのスクレイピングで、必要なURLだけを抽出したり、必要なヘッドラインの文字だけを抽出したり…ということが起きて、即本書にあるPythonのプログラム（といっても十数行だったり、多くでも30行くらいだったり）がすごく役に立ちまして。手作業でひとつひとつコピペしてたら何日かかっていただろう…な作業も本当にあっという間でした。
Python2年生 スクレイピングのしくみ 体験してわかる！会話でまなべる！
ギャラリー
https://amzn.to/3oSZMNY
amzn.to
目次
- はじめに
- 本書のサンプルのテスト環境
- 本書の対象読者と2年生シリーズについて
- 本書の読み方
- サンプルファイルと特典データのダウンロードについて
- 第１章 Pythonでデータをダウンロード
- Lesson 01 スクレイピングってなに？
- クローリングとスクレイピング
- 気をつけないといけないこともある
- robots.txtとは？
- Lesson 02 Pythonをインストールしてみよう
- Windowsにインストールする方法
- macOSにインストールする方法
- Lesson 03 requestsでアクセスしてみよう
- ライブラリのインストール方法
- HTMLファイルを読み込むプログラム
- IDLEを起動しよう
- プログラムを作ってみよう
- テキストファイルに書き込む： open、close
- テキストファイルに書き込む； with文
- Lesson 01 スクレイピングってなに？
- 第２章 HTMLを解析しよう
- Lesson 04 HTMLを解析してみよう
- Beautiful Soupをインストール
- Beautiful Soupで解析する
- タグを探して表示する
- すべてのタフを探して表示する
- idやclassで検索範囲を絞り込む
- Lesson 05 ニュースの最新記事一覧を取得してみよう
- デベロッパーツールを使って絞り込もう
- Lesson 06 リンク一覧をファイルに書き出そう
- すべてのリンクタフのhref属性を表示する
- すべてのリンクタフのhref属性を絶対URLで表示する
- リンク一覧自動作成プログラム
- Lesson 07 画像を一括ダウンロードしよう
- 画像ファイルを読み込んで保存する
- ダウンロード用のフォルダを作って保存する
- すべてのimgタグの画像ファイルURLを表示する
- ページ内の画像を一括ダウンロードするプログラム
- Lesson 04 HTMLを解析してみよう
- 第３章 表データを読み書きしよう
- Lesson 08 pandasを使ってみよう
- pandasをインストール
- 表データってなに？
- CSVファイルを読み込む
- 列データ、行データを表示する
- 列データ、行データを追加する
- 列データ、行データを削除する
- Lesson 09 さまざまなデータの加工
- 必要な情報を抽出する
- データを集計する
- データを並べ替える
- 行と列を入れ替える
- CSVファイルに出力する
- Lesson 10 ふら富で表示してみよう
- matplotlibをインストール
- グラフで表示する
- さまざまな種類のグラフを表示する
- 個別のデータをグラフで表示する
- 棒グラフを画像ファイル出力する
- Lesson 11 Excelファイルを読み書きしてみよう
- openpyxkをインストール
- Excelファイルに出力する
- Excelファイルを読み込むk
- Lesson 08 pandasを使ってみよう
- 第４章 オープンデータを分析してみよう
- Lesson 12 オープンデータってなに？
- オープンデータは宝の山
- Lesson 13 郵便局：郵便番号データ
- CSVファイルを読み込む
- データを抽出する
- Lesson 14 e-Stat：政府統計の相互窓口
- CSVファイルを読み込む
- データをグラフで表示する
- Lesson 15 キッズすたっと：探そう統計データ
- CSVファイルを読み込む
- データをグラフで表示する
- Lesson 16 自治体のデータ：データシティ鯖江
- CSVファイル（消火栓）を読み込む
- foliumをインストール
- 地図上に消火栓を表示
- CSVファイル （店舗）を読み込む
- 地図上に店舗を表示
- Lesson 12 オープンデータってなに？
- 第５章 WebAPIでデータを取得しよう
- Lesson 17 Web APIってなに？
- 他のコンピュータの機能を利用する
- Lesson 18 OpenWeatherMapってなに？
- OpenWeatherMapサイトの利用手順
- OpenWeatherMapを利用する
- Lesson 19 現在の天気を調べよう
- 都市名で指定して、天気を取得
- JSONってなに？
- JSONデータの書式
- JSONデータを読み込む方法
- 郵便番号で指定して、天気を取得する
- Lesson 20 現在から5日間（3時間ごと）の天気を調べよう
- 5日間の天気を取得してみよう
- UTC（協定世界時）をJST（日本標準時）に変換
- 5日間の気温をグラフで表示してみよう
- さらに先へ進もう
- Lesson 17 Web APIってなに？
- 索引
関連リンク
ノート：備忘録
あわせて読みたい
書見台を買ったらプログラミング学習が脅威的に進みました!『Python 1年生 体験してわかる！会話でまなべる！プログラミングのしくみ』／森巧尚 (著)／翔泳社 - なぞるICT本
こんにちは、まる３です。 還暦もすぎて、いまさらプログラミング〜なんて何かおかしいですが、それでもやっぱり死ぬまでに作りたいものもあったりして、ぼちぼちとプログラミング関係の本を「なぞり」ながら、スキルを身につけたいと思っています。 「なぞ...
maru3.life
2021.12.14
シビックテック、官民データ活用時代の最初の一歩『Python 2年生 データ分析のしくみ 体験してわかる! 会話でまなべる!』／森巧尚 (著)／翔泳社 - なぞるICT本
こんにちは、まる３です。 Python2年生スクレイピングのしくみ…をなぞり終わった後に、こちらのデータ分析のしくみに入ったのですが、たしかにおもしろい。なぞれる！できる！なのですが…何かこうスクレイピングのときほどの感動はいまひとつでした...
maru3.life
2021.12.15
なぞるICT本の必須アイテム『書見台』
Amazon | Reodoeer ブックスタンド 書見台 筆記台 ブックレスト譜面台 読書台 本立て 6段階調整 折り畳み式 竹製 | データホルダー・書見台 | 文房具・オフィス用品
オンライン通販のAmazon公式サイトなら、Reodoeer ブックスタンド 書見台 筆記台 ブックレスト譜面台 読書台 本立て 6段階調整 折り畳み式 竹製を文房具・オフィス用品ストアで、いつでもお安く。当日お急ぎ便対象商品は、 当日お届け可能です。アマゾン配送商品は、通常配送無料（一部除く）。
amzn.to
Amazon.co.jp
amzn.to
https://amzn.to/3oSZMNY
amzn.to
平日は山中湖村の森の中にある図書館 山中湖情報創造館に、週末は清里高原の廃校になった小学校を活用したコワーキングスペースもある 八ヶ岳コモンズにいます。「わたしをかなえる居場所づくり」をイメージしながら、テレワークに加えて動画撮影やネット副業などにもチャレンジできる図書館／コワーキングスペースづくりに取り組んでいます。
コメント