scrapfly/scrapfly-scrapers has 1,126 GitHub stars and 207 forks. GitHot measured +9 in 7 days. Last checked 2026-11-11 00:09 UTC. Last push 2026-11-02.
Scalable Python web scraping scripts for +40 popular domains
計測したスター増加
- 24時間
- 更新が遅れています
- 7日間
- +9
- 15日間
- 履歴を収集中
- 1か月
- 履歴を収集中
期間ごとの純増数です。期間は重複しており、日別の値ではありません。未計測の値は空欄です。スター数は注目度の指標であり、品質の保証ではありません。
docs/README.ja.md
オリジナルScrapFly Scrapers 🕷️
English · 简体中文 · 日本語 · Español · Русский
このリポジトリには、ScrapFly のウェブスクレイピング API と Python を使って人気サイトをスクレイピングする、学習用のサンプルスクレイパーが含まれています。
ほとんどのスクレイパーはシンプルな構成で作られています：
- Python 3.10 以上
- Scrapfly の Python SDK：HTTP リクエストの送信、ブロックの回避、組み込みの parsel セレクターによる HTML の解析に使用します。
- asyncio：async/await 構文で並行処理のコードを書くために使用します。
- JMESPath と nested-lookup：必要に応じて JSON の解析に使用します。
- loguru：ログ出力に使用します。
ウェブスクレイピングについてさらに学び、これらのサイト（およびその他多くのサイト）のスクレイピング方法を知るには、チュートリアル集の scrapeguide ディレクトリ をご覧ください。
AI エージェントや LLM ツール向けには、llms.txt にすべてのスクレイパーの関数とサンプル出力をまとめ、スクレイパーの実行方法と新しいスクレイパーの書き方を説明しています。
クイックスタート
各スクレイパーは独立したフォルダーにあり、単体で動作します（Python 3.10 以上と Poetry が必要です）：
git clone https://github.com/scrapfly/scrapfly-scrapers.git
cd scrapfly-scrapers/airbnb-scraper # 下の一覧にある任意のフォルダー
export SCRAPFLY_KEY="YOUR SCRAPFLY KEY" # 取得先: https://scrapfly.io/dashboard
poetry install --no-root
poetry run python run.py # サンプルのスクレイピング、結果は ./results に保存
poetry run pytest test.py # スクレイパーのテスト
各フォルダーの README に、そのスクレイパーが取得するデータが記載されています。
スクレイパー一覧
対応している各サイトのスクレイパーと、そのスクレイピングガイド、サンプルデータセット、ステータスの一覧です。👇
ステータスは毎晩のテスト実行の結果で、表の並び順もその結果で決まります。テストに合格したスクレイパーが先に、失敗したものや未テストのものが最後に並びます。
バッジは passing（全テスト合格）、N/M passing（一部のテストが合格）、failing（合格なし）、not run（未実行）のいずれかを示します。クリックすると、そのスクレイパーの最新の結果と各テストのログへのリンクが表示されます。
フェアユースと法的免責事項
このリポジトリには、ウェブスクレイピングがいかに手軽に始められるかを示すための_学習用_の参考資料が含まれています。掲載しているプログラムは、本番環境でのウェブスクレイピングを目的としたものではありません。 とはいえ、Scrapfly チームは最適な体験を提供できるよう、これらのコードを継続的に更新・改善しています。
Scrapfly は法的助言を提供しません。他者のウェブサイトとやり取りするプログラムを作成する際は、いつものように弁護士にご相談ください。「してはいけないこと」の一般的な目安は次のとおりです：
- GDPR で保護されている EU 市民の個人を特定できる情報（PII）を保存しないでください。
- 国によってはデータベース保護法で保護されている場合があるため、公開データセット全体をスクレイピングして転用しないでください。
- ウェブサイトに損害を与えるような頻度でスクレイピングせず、公開されているデータのみをスクレイピングしてください。
ライセンス
このリポジトリは Non-Profit Open Software License 3.0 のもとで公開されています。
関連プロジェクトを探す
n8n-io/n8n
ネイティブな AI 機能を備えた Fair-code のワークフロー自動化プラットフォームです。ビジュアルでの構築とカスタムコードを組み合わせられ、セルフホストとクラウドに対応し、400 以上のサービスと連携できます。
210,092 スターlanggenius/dify
1つの共同ワークスペースで、エージェント型ワークフローと RAG パイプラインを構築し、豊富な AI モデルとツールを利用できます。クラウド、VPC、セルフホストにデプロイできるため、チームはスタックを作り直さずにプロトタイプから本番へ移行できます。
160,773 スターmicrosoft/PowerToys
Microsoft PowerToys は、Windows の生産性とカスタマイズ性を高めるユーティリティ集です
140,833 スターstablyai/orca
Orca は、エージェント群（例: Grok Bot、Claude Code）と作業するための場所です。自分のサブスクリプションで任意のコーディングエージェントを実行できます。デスクトップ、モバイル、リモートランタイムに対応しています。
121,796 スター