データサイエンス100本ノック（構造化データ加工編）

Overview

• データサイエンス100本ノック（構造化データ加工編）を実践するための演習問題とデータ、および環境構築のためのスクリプト一式
• 演習問題はSQL、Python、Rで共通
• 言語によっては向かない設問もあるが、「この言語のときはこう書けば実現できる」という技術習得を目指すことを優先
• 個人情報のように見える項目は全てダミーデータを利用
• 大学、企業など組織でのご利用にあたっては、「データサイエンティスト協会スキル定義委員」の「データサイエンス100本ノック（構造化データ加工編）」を利用していることを明示いただければ自由に利用してOK
• データサイエンス100本ノック(構造化データ加工編)の解説本が販売されています
• データサイエンス100本ノック(構造化データ加工編)の利用に関するご質問等について、個別での対応は受けかねますので予めご了承ください
• データサイエンス100本ノック(構造化データ加工編)の利用により生じるいかなる問題についても、当協会は一切の責任を負いかねますのであらかじめご了承ください

Description

• Dockerfile(dockerfiles/notebook/Dockerfile, dockerfiles/notebook/Dockerfile)
• docker-compose.yml
• スーパーの架空購買データと架空個人情報(csv)
• データベースを初期設定するための各種スクリプト
• 設問と解答例のノートブックファイルおよびHTMLファイル

Requirement

• Local
  • Docker Desktop(Windows 10/11, macOS)
  • Apple M1チップ搭載のMacの場合は Docker Desktop 4.4.2 以降
  • WindowsのHome EditionでもWSL2をインストールすることでDocker Desktopが使えるようになりました！
• Cloud Service
  • Amazon SageMaker Studio Lab (使い方)
    • Python演習:
    • Python解答:
  • Colaboratory
    • Python演習:
    • Python解答:

Install

git clone [email protected]:The-Japan-DataScientist-Society/100knocks-preprocess.git
cd 100knocks-preprocess
docker compose up -d --build --wait

※ macOSでユーザーのホームディレクトリ配下以外にファイル群を配置する場合、Dockerの共有設定が別途必要となります。

※ コンテナは作成されたがデータベースに接続できない、という場合の多くはディレクトリに対するアクセス権限設定の問題となります。

※ インストールの説明は doc 配下の説明資料も参照してください。

Update

既に本教材を利用している場合は、編集済みのNotebookや作業ファイルをバックアップしてから、以下のコマンドで環境を更新してください。

git pull --ff-only
docker compose up -d --build --wait --force-recreate

※ ローカルで変更したファイルがある場合、git pull が失敗することがあります。その場合は変更内容を確認し、必要なファイルを退避してから更新してください。

※ 更新が難しい場合は、編集済みのNotebookや必要な作業ファイルをバックアップし、Dockerコンテナを停止したうえで、既存のリポジトリフォルダを削除し、上記「Install」の手順で環境を再構築することもできます。リポジトリフォルダの削除前に、必要なファイルがすべて退避されていることを確認してください。

Usage

• ブラウザで以下のURLにアクセスします
  • http://localhost:8888

Security

本教材のDocker環境は、個人のPC上での学習を想定しています。

JupyterLabおよびPostgreSQLは、ローカルPC（127.0.0.1）からのみアクセスできる設定としています。また、Jupyter ServerのHost検証を有効化し、DNS rebinding攻撃への対策を行っています。

JupyterLabは学習時の利便性を考慮してトークン認証を無効化しています。そのため、ポートの公開設定を変更して外部ネットワークからアクセスできる状態にすることは避けてください。

セキュリティ対策を適用するため、V2.1以前の環境をご利用の場合は、V2.2以降への更新を推奨します。

How to contribute

開発に協力していただける場合は本リポジトリをcloneし、 https://pre-commit.com/ の手順に従って pre-commit をインストールしてください。

これにより、 .pre-commit-config.yaml の設定に基づいて、コミット時にクレデンシャルが含まれていないかの検査が行われるようになります。

Document

• doc 配下にデータサイエンス100本ノック（構造化データ加工編）の説明資料と設問PDF、設問HTML、解答例HTMLを配置
• work 配下に設問notebookを配置
• work/answer 配下に解答例notebookを配置
• work/data 配下に使用したデータを配置

Link

本コンテンツの内容やセットアップ手順について解説いただいているサイト、Dockerについて基本から学べるサイト

• 【データサイエンスを学ぶあなたへ】100本ノック - 構造化データ処理編 - 最速レビュー動画！【データサイエンティスト協会】#062

• データサイエンス100本ノック（構造化データ加工編）を試してみた

• Macでデータサイエンス100本ノックを動かす方法

• さくらのナレッジ

• データサイエンス100本ノックを、Google ColabとAzure Notebooksで気軽に行いたい！

• データサイエンス初学者にむけた、データサイエンス100本ノックを実装する方法（windows10 Home向け）

Author

The Data Scientist Society

LICENSE

• docker/doc/100knocks_guide.pdf は協会ロゴ等が含まれるため、CC-BY-NDとなります
• その他ファイルはMITライセンスに従います