京橋のバイオインフォマティシャンの日常

南国のビーチパラソルの下で、Rプログラムを打ってる日常を求めて、、Daily Life of Bioinformatician in Kyobashi of Osaka

バーチャルスライドスキャナー画像（.ndpi）からオリジナルTIFFイメージを取り出す際のTips〜ギガバイトイメージの画像解析入門〜

バーチャルスライド画像 Mac 画像解析 - Fiji/ImageJ 画像解析 - NDPITools Terminalコマンド - ndpisplit Terminalコマンド - wget Terminalコマンド - which Terminalコマンド - chmod Terminalコマンド - open Terminalコマンド - mkdir Terminalコマンド - mv Terminalコマンド - cd

はじめに

今回、バーチャルスライドスキャナー画像（.ndpi）の取り扱い方を取り上げる。

.ndpiという画像フォーマットは、浜松ホトニクス社が提供するHamamatsu formatの１つである。

NDPIファイルは「独自メタデータを持つシングルファイルTIFF-likeな形式」であり、一般的によく使われるTIFFとかPNGと比べて、なかなか扱いにくい形式である。

また、TIFF-like形式というのは実際、Compress TIFF 形式で格納されていて、ImageJではその形式に対応したプラグインを導入する必要がある。

NDPIToolsのセットアップ

NDPITools HPから、ndpi2tiff、ndpisplit、ImageJ pluginsをダウンロードして、セットアップしてみる*1。

まず、Mac版wgetのセットアップは、以前の記事を参考のこと。

skume.hatenablog.com

また、Fiji/ImageJについては以下のURLでダウンロード・インストールしておく。

https://imagej.net/Fiji.html#Downloadsimagej.net

以下、MacOSX版とLINUX版でのセットアップについて概説する。

#MacOSX版
#Pkg installerのダウンロード
wget https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/download/ndpitools-1.8/macosx/ndpitools-1.8.pkg

#インストール
open ndpitools-1.8.pkg
rm -rf ndpitools-1.8.pkg
#あるいは
#ndpitools-1.8.pkgをダブルクリックして、インストールする。

#パスの確認
which ndpi2tiff
#/usr/local/bin/ndpi2tiff

which ndpisplit
#/usr/local/bin/ndpisplit 

#ImageJ pluginsのインストール
wget https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/download/ndpitools-1.7.2/NDPITools_.jar

#.jarファイルをFiji/ImageJのプラグインフォルダに移動させる
mv ./NDPITools_.jar /Applications/Fiji.app/plugins

一応、Linux版のセットアップについてもふれておく。

#Linux版のセットアップ
#ndpi2tiff
wget https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/download/ndpitools-1.8/lin64/ndpi2tiff
chmod a+x ndpi2tiff
sudo mv ndpi2tiff /usr/local/bin

#ndpisplit
wget https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/download/ndpitools-1.8/lin64/ndpisplit
chmod a+x ndpisplit
sudo mv ndpisplit /usr/local/bin

# プラグインの設定
wget https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/download/ndpitools-1.7.2/NDPITools_.jar
#Fiji/ImageJのプラグインフォルダに移動させる

NDPIテストファイルのダウンロード

次に、テストデータ（CMU-1.ndpi）をダウンロードして、実行例を概説する。

#フォルダ作成
mkdir test01

#フォルダ内に移動
cd test01

#テストデータのダウンロード
wget http://openslide.cs.cmu.edu/download/openslide-testdata/Hamamatsu/CMU-1.ndpi

ndpisplitコマンドを用いたNDPIファイルの展開

ndpisplitを使って、CMU-1.ndpiからオリジナルTIFFイメージを抽出する。

#（デフォルト: 全部出力、JPEG圧縮TIFFファイル出力）
ndpisplit CMU-1.ndpi

#メモリ4000MB制限、JPEG出力、x1.25の抽出、ログ出力`-K`
ndpisplit -m4000j75 -x1.25 -K CMU-1.ndpi

#メモリ4000MB制限、非圧縮出力、x5の抽出、ログ出力`-K`
ndpisplit -m4000n -x5 -K CMU-1.ndpi

Fiji/ImageJでのCompress TIFFのインポート&エクスポート

FijiでCompress TIFFを読み込むには、Pluginsメニュー > NDPITools > Open TIFF ...を選択して、出力したTIFFファイルを選択する。

CMU-1.ndpiイメージはこんな感じの画像。

次に、PNGファイルとしてエクスポートしてみる。

エクスポートしたい画像のウインドを選択した後に、Fileメニュー > Save As > PNG ...を選択して、画像を保存する。

ImageJマクロでの実行

（今後、作成予定）

まとめ

バーチャルスライド画像からのTIFF画像抽出をまとめてみた。

ただ、バーチャルスライド画像は数百MGとか１GB以上の画像データが多く、 あまりスペックが低いラップトップで扱うと、 PCがトブ時があるのでご注意あれ。

また今後、この画像解析についても扱っていきたい。

ImageJ & 画像解析に関する入門書

以下に、ImageJ関連の図書を列挙しておきます。

補足

Fiji/ImageJのPluginsを使った画像抽出

どうもPCに負荷がかかりそうなので、非推奨ではあるけども、 Fiji/ImageJのPluginsでも画像抽出は可能である。

Fiji PluginsでCompress TIFFを読み込むには、Pluginsメニュー > NDPITools > Custom extract to TIFF ...を選択して、NDPIファイルをを選択する。

非圧縮TIFF出力の設定は以下の通りである。

でOKを押すと、同フォルダ内にTIFFファイルが出力されるので、 その画像をFiji/ImageJのツールバーにドロップすれば、画像が開くはず。

もしJPEG圧縮TIFFファイルで出力した場合には、FijiでCompress TIFFを読み込むには、Pluginsメニュー > NDPITools > Open TIFF ...を選択して、出力したTIFFファイルを選択して開く。

参考資料

NDPITools

https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/www.imnc.in2p3.fr

OpenSlide - Hamamatsu format

openslide.org

ndpisplit リファレンス

https://www.imnc.in2p3.fr/pagesperso/deroulers/software/ndpitools/ndpisplit.htmlwww.imnc.in2p3.fr

Deroulers et al., Analyzing huge pathology images with open source software, Diagnostic Pathology 8:92 (2013).

diagnosticpathology.biomedcentral.com

*1:ndpi2tiffについては、用途的にもあまり使わないと思われる。

【R言語と形態素解析】R環境/reticulateで実行する、Python版Sudachi『SudachiPy』による日本語形態素解析

Mac Homebrew R - SudachiPy R - reticulate Python - SudachiPy Terminalコマンド - sudachipy Terminalコマンド - echo 形態素解析 R - Python 自然言語処理

はじめに

SudachiPyは、 Java で書かれたオープンソースの日本語形態素解析器SudachiのPython版です。 SudachiPyは、形態素解析の無料ツールとして活用できます。

www.mlab.im.dendai.ac.jp

日本語形態素解析で有名なmecabと比べて後発の後発の形態素解析器で、 複数の分割単位、固有表現抽出などの特徴があります。

特に、GiNZA（spaCy）を使ってUD（単語単位の依存構造）解析したいときに利用できます*1。

今回、R/RStudio上でのSudachiPyの実行例を概説します。Macターミナルでの実行もできます。

個人的には、RユーザーにとってPythonパッケージがR環境上で実行できると、いろいろとメリットが大きいと考えています*2。

例の如く、HomeBrewでPythonの環境構築を行います。詳しくは、過去の記事を参照のこと。

https://skume.hatenablog.com/entry/2020/05/10/225341skume.hatenablog.com

実行環境

MacOSX 10.15.6
R version 4.0.2 (2020-06-22)
RStudio 1.3.1056
Python 3.8.5
pip 20.1.1 from /usr/local/lib/python3.8/site-packages/pip (python 3.8)

SudachiPyのデフォルト・インストール

さて、ターミナルを起動して、SudachiPyをインストールします。

#sudachipyのインストール
pip install sudachipy

#辞書のインストール
pip install sudachidict_core

Sudachi 辞書 fullの設定

Sudachiでは、3種類の辞書が提供されています。

  • small: UniDicの語彙のみが含まれる。

  • core: 基本的な語彙を含む（デフォルト）。

  • full: その他の固有名詞が含まれる。

ここでは、Sudachi 辞書 full をインストールして、その辞書への切り替えをやってみます。

#辞書 full のインストール
pip install sudachidict_full

#辞書の切替
sudachipy link -t full

また、SudachiPyには、コマンドライン版とPython版があり、pipでどちらもインストールされます。

上記コマンドは、RStudioのターミナルタブからも実行できます。

また、もう面倒で、Rコンソール上でインストールしたい場合には、以下で通るはずです。

#sudachipyインストール
system("pip install sudachipy sudachidict_core sudachidict_full")

#辞書の切替
system("sudachipy link -t full")

R環境でのコマンドライン版sudachipyの実行

次に、コマンドライン版sudachipyの実行例を下記に示します。

Rのsystem()を使うと、ターミナルコマンドを実行できます。 また、" "内の文字列を、ターミナル上で実行することも可能です。

#sudachipyのヘルプ表示
system("sudachipy tokenize -h")
#(出力省略)

#Sudachiのデフォルト形態素解析
system('echo "外国人参政権" | sudachipy')

#外国人参政権    名詞,普通名詞,一般,*,*,*    外国人参政権
#EOS

#`-a`オプションで、すべての出力を表示させる
system('echo "外国人参政権" | sudachipy -a')
 
#外国人参政権    名詞,普通名詞,一般,*,*,*    外国人参政権  外国人参政権  ガイコクジンサンセイケン    0
#EOS

#もしR側に出力を返したい場合には、「intern=T」をいれる　
Res <- system('echo "外国人参政権" | sudachipy', intern=T)
Res

#[1] "外国人参政権\t名詞,普通名詞,一般,*,*,*\t外国人参政権"
#[2] "EOS"  

#Split A modeで形態素解析
system('echo "外国人参政権" | sudachipy -m A')

#外国    名詞,普通名詞,一般,*,*,*    外国
#人   接尾辞,名詞的,一般,*,*,*    人
#参政    名詞,普通名詞,一般,*,*,*    参政
#権   接尾辞,名詞的,一般,*,*,*    権
#EOS

Split modeについては、補足に記載しています。

続いて、Python版の実行方法についても概説します。

R環境でのPythonパッケージ版sudachipyの実行

HomeBrewでインストールしたPythonは、/usr/local/bin/pythonに入っています。

お使いの環境で、use_pythonのパスは変更しておきます。

それでは、Pythonパッケージ版sudachipyの実行例を下記に示します。

また、R環境上でのPython実行は、reticulateパッケージを使います。

#SudachiPyの設定
reticulate::use_python("/usr/local/bin/python", required =T)
sudachipy <- reticulate::import(module = "sudachipy")

#sudachipyのヘルプ表示
reticulate::py_help(sudachipy)

ここから、SudachiPyで形態素解析を実行してみます。

#tokenizerの作成
tokenizer_obj = sudachipy$dictionary$Dictionary()$create()
tokenizer_obj

#形態素解析の実行
text = '国家公務員'
m = tokenizer_obj$tokenize(text=text)[0]

#各出力結果
m$surface()
#[1] "国家公務員"

m$dictionary_form()
#[1] "国家公務員"

m$reading_form()
#[1] "コッカコウムイン"

m$part_of_speech()
#[1] "名詞"     "普通名詞" "一般"     "*"        "*"        "*"

次に、Split modeのオプジェクトを設定して、 Splitモードの違いで、形態素解析の結果がどのように変わるかをみていきます。

#Split modeのオプジェクト設定
SplitA = sudachipy$tokenizer$Tokenizer$SplitMode$A
SplitB = sudachipy$tokenizer$Tokenizer$SplitMode$B
SplitC = sudachipy$tokenizer$Tokenizer$SplitMode$C

#Split mode Aの場合
tokenizer_obj$tokenize(text=text, mode=SplitA)[0]
#国家
tokenizer_obj$tokenize(text=text, mode=SplitA)[1]
#公務
tokenizer_obj$tokenize(text=text, mode=SplitA)[2]
#員

#Split mode Bの場合
tokenizer_obj$tokenize(text=text, mode=SplitB)[0]
#国家
tokenizer_obj$tokenize(text=text, mode=SplitB)[1]
#公務員

#Split mode Cの場合
tokenizer_obj$tokenize(text=text, mode=SplitC)[0]
#国家公務員

また、SudachiPyでは、標準的な日本語に補正してくれる、語彙のノーマライズ機能 (Ex. 附属 => 付属)もあるようです。

m1 = tokenizer_obj$tokenize(text="附属")[0]
m1$normalized_form()
#[1] "付属"

自作関数SudachiTokenizerRについて

Pythonパッケージ版SudachiをR環境で動かすのは若干面倒なんですが、実行挙動を逆手にとって関数を作成しました*3。

これまでのコマンドが動作した環境が前提で、コマンドライン版とほぼ同出力となる関数を作成しました。以下が実行例です。

#スクリプト読み込み
source("https://gist.githubusercontent.com/kumeS/db75fdb0389f9a84846c58f5dcf302c1/raw/662d60b9c1d371577e40b3d1a311cd7d1b1de327/SudachiTokenizerR")

#実行
Res <- SudachiTokenizerR(text='国家公務員', mode=SplitA)
Res

#(出力結果)
#  語彙 品詞タグ01 品詞タグ02 品詞タグ03 品詞タグ04 品詞タグ05 品詞タグ06
#1 国家       名詞   普通名詞       一般          *          *          *
#2 公務       名詞   普通名詞       一般          *          *          *
#3   員     接尾辞     名詞的       一般          *          *          *

#system実行結果をR環境に返す場合
print(system('echo "国家公務員" | sudachipy -m A', intern=T))

#(出力結果)
#[1] "国家\t名詞,普通名詞,一般,*,*,*\t国家"
#[2] "公務\t名詞,普通名詞,一般,*,*,*\t公務"
#[3] "員\t接尾辞,名詞的,一般,*,*,*\t員"    
#[4] "EOS"

まとめ

R環境で、Sudachi形態素解析が使えれば、自然言語処理やテキスト処理などの処理の幅も広がるはずです。

SudachiTokenizerRで、Pythonパッケージ版の形態素解析もR環境で少しは使いものになりそうです*4。

補足

辞書の設定ファイル「sudachi.json」について

python3.10版SudachiPyのsudachi.jsonを開きます。

open /opt/homebrew/lib/python3.10/site-packages/sudachipy/resources/sudachi.json

full辞書のsystem.dicは以下のフォルダパスにあります。

#sudachidict_fullのフォルダを開く
open /opt/homebrew/lib/python3.10/site-packages/sudachidict_full/resources

以下の通り、sudachi.jsonを修正します。

"systemDict" : null,

↓↓↓

"systemDict" : "/opt/homebrew/lib/python3.10/site-packages/sudachidict_full/resources/system.dic",

github.com

Rはイチスタート、Pythonはゼロスタート

Rでは、1,2,3...と 1 からベクトル位置が始まりますが、Pythonや他言語では、0,1,2,3...と 0 からベクトル位置が始まるのが一般的です。

'と"の使い分け

Rでは、"..."(ダブルクォーテーション囲い)は、文字列指定の際に使用します。

"..."内にもう一度、"..."を入れたい場合は、個人的な使い方としては、'..."..."...'というように、外側を'...'(シングルクォーテーション囲い)にして、内側を"..."と記載します*5。

一部、'...'を使っているところもあるけども、R上ではだいたい同じ挙動となります。

Split mode について

英語原文より

Sudachi provides three modes of splitting. In A mode, texts are divided into the shortest units equivalent to the UniDic short unit. In C mode, it extracts named entities. In B mode, into the middle units.

日本語サイトより

次に、トークナイザーのモードを定義する必要があります。

モードは、トークナイザーがテキストを分割する方法を決定するために使用されます。

A ：テキストは、UniDicショートユニットに相当する最短ユニットに分割されます

B ：テキストをAとCの間の中間単位に分割します

C ：名前付きエンティティを抽出します

Rコード: SudachiTokenizerR

gist.github.com

参考資料

pypi.org

github.com

ichi.pro

*1:https://qiita.com/hi-asano/items/aaf406db875f1c81530e

*2:Python言語の習得やPython環境、データ構造への慣れが特に不要になる。また、すでにRプログラミング中級者以上なら、もう１つインタプリンタ言語(低速言語)を習得するのはやはり非効率だと思うわけです。

*3:若干騙し騙し的な感じで、Pythonの実行エラーがR側でコマンド実行に使われない仕組みを活用しています。

*4:まだ発展途上だけど

*5:おそらくは、その逆でも動く

Mac版Dockerで、rocker/rstudio (= RStudio Server Docker Image)をトラブルフリーでセットアップしてみた件

Mac R - RStudio Server Docker Terminalコマンド - docker Terminalコマンド - lsof Terminalコマンド - brew Terminalコマンド R - TensorFlow R - RStudio Mac - Docker

概要

過去の記事で、「【macOS X編】 Homebrewで、RStudio Serverをインストールしてみた件 + nginx設定」を紹介しました。

現状、MacローカルでのRstudio Server動作について、 バージョン・アップ等の問題で*1、少々動作が不安定な場合です。 そのため、ローカル環境で構築せずに、Docker/Rocker を使用することを推奨します。

skume.hatenablog.com

Dockerとは、ホストマシンのカーネルを利用して、コンテナ型の仮想環境を作成、配布、実行するための実行環境です。

概要として、環境構築済みのDockerイメージ（= コンテナを起動させるためのベース部分）は、 Docker Hubなどで、いろいろと公開されていて、それらイメージをダウンロードしてきて、 Dockerコンテナ（= Dockerイメージから作成される仮想環境の実行部分）を起動します。 Dockerコンテナは、ユーザーごとに作成したり、ログイン設定を変えて、複数のコンテナを作成・構築できます。

RStudioのDockerイメージは、Rockerが主流で、 このリポジトリには、RStudio関連の複数のDockerイメージ・Dockerfileが含まれています。

Docker for macのインストールについて

MacでのDockerは、GUIアプリ版の「Docker for mac」を使用することをお勧めします*2。 Mac ターミナルを起動して、brew caskで、Docker.appをインストールします。

Homebrewのセットアップについては、以前の記事を参照のこと。

skume.hatenablog.com

以下の２行のコマンドを実行すれば、Dockerのインストール・起動は完了します。

#Docker for macのインストール
brew cask install docker

##現在、以下のように変更になっている。
#Error: `brew cask` is no longer a `brew` command. Use `brew <command> --cask` instead.
#$ brew install --cask docker

#Docker.appの起動
open /Applications/Docker.app

もしDockerの公式サイトからダウンロードしたい場合には、 DockerのHPに行って、Download for Macからアプリを取得します。

www.docker.com

www.docker.com

Docker.appを起動して、しばらく経つと、 メニューバーの右側に、Docker.appのアイコンが表示されます。 アイコンをクリックして、次に「Sign in / Create Docker ID」を選択します。

ここで、Docker IDとPasswordを入力して、ログインします。

もしDockerのアカウントがないなら、 公式HPでアカウントを作成してから、ログインします。

dockerコマンドの動作確認

ターミナルで、dockerコマンドの動作確認を行います。

docker -v
#Docker version 19.03.12, build 48a66213fe
#が出れば、OK

##起動の確認
docker ps -a
#まだ何も表示されないはず
#CONTAINER ID        IMAGE               COMMAND             CREATED             STATUS              PORTS               NAMES

#もしDockerが立ち上がってないと
#Cannot connect to the Docker daemon at unix:///var/run/docker.sock. Is the docker daemon running?
#とエラーが出る

rocker/rstudioイメージの検索・ダウンロード

まずは、Docker Hub*3にあるRstudio-serverのDockerイメージを探してみます。

docker search コマンドで検索してみます。

#rockerリポジトリのイメージを検索する
docker search rocker

#NAME                                            DESCRIPTION                                     STARS               OFFICIAL            AUTOMATED
#rocker/rstudio                                  RStudio Server image                            321                                     [OK]
#rocker/shiny                                                                                    146                                     [OK]
#rocker/tidyverse                                Version-stable build of R, rstudio, and R pa…   106                                     [OK]
#rocker/r-base                                   Basic R for Rocker And Official 'r-base'        74                                      [OK]
#rocker/verse                                    Adds tex & related publishing packages to ve…   51                                      [OK]
#rocker/r-ver                                    Reproducible builds to fixed versions of R      38                                      [OK]
#rocker/geospatial                               Docker-based Geospatial toolkit for R, built…   31                                      [OK]
#rocker/shiny-verse                              Rocker Shiny image + Tidyverse R packages. U…   28                                      [OK]
#rocker/ropensci                                                                                 22                                      [OK]
#rocker/r-devel                                                                                  17                                      [OK]
#rocker/rstudio-stable                           Build RStudio based on a debian:stable (debi…   16                                      [OK]
#rocker/ml                                       Docker images with R + machine learning libr…   7                                       [OK]
#rocker/r-apt                                    R-related apt-get information                   6                                       [OK]
#rocker/binder                                   Adds binder to rocker/tidyverse, providing J…   4                                       [OK]
#rocker/r-rmd                                    Rocker container for Rmarkdown packages         4                                       
#rocker/r-parallel                                                                               3                                       
#rocker/drd                                                                                      3                                       [OK]
#rockerjp/tidyverse                              rocker/tidyverse for Japanese R users.          2                                       [OK]
#koncina/rocker-bs2                              customised rocker image to build the biostat…   2                                       [OK]
#rocker/cuda                                     NVIDIA CUDA libraries added to Rocker images    0                                       
#methodsconsultants/rocker-tidyverse-rquantlib   rocker/tidyverse + RQuantLib                    0                                       [OK]
#rocker/cuda-dev                                 Adds CUDA and cudnn development libraries to…   0                                       
#atavares/rocker-geospatial-ecmwf                This image is based on rocker/geospatial. It…   0                                       [OK]
#rhub/rocker-gcc-san                             Debian Testing, R-devel and AddressSanitizer    0                                       
#atavares/rocker-geospatial-magick               This image is based on rocker/geospatial. It…   0                                       [OK]

次に、docker pull コマンドで、Dockerイメージのなかで、rocker/rstudio のダウンロードを試みます。

docker pull rocker/rstudio

#Using default tag: latest
#latest: Pulling from rocker/rstudio
#a4a2a29f9ba4: Pull complete 
#127c9761dcba: Pull complete 
#d13bf203e905: Pull complete 
#4039240d2e0b: Pull complete 
#4c420e76969e: Pull complete 
#07647ba1f5c5: Pull complete 
#196fc1e9a022: Pull complete 
#8cef2622a036: Pull complete 
#Digest: sha256:45b1e0a675aad9417ebb3bb63819c6e775efa77484fbabd0a228e797e7d6cc25
#Status: Downloaded newer image for rocker/rstudio:latest
#docker.io/rocker/rstudio:latest

#ダウンロード済みのDockerイメージ一覧
docker images

#REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
#rocker/rstudio      latest              f4d862a97fdf        6 weeks ago         1.88GB

rocker/rstudioコンテナのセットアップ

Dockerイメージだけではまだ実行できず、イメージをもとに仮想環境の実行部分（Dockerコンテナ）を作成します。 Dockerコンテナの構築には、 docker run (作成 + 起動) あるいは docker create (作成のみ) コマンドを使います。

rocker/rstudioページに記載されていた、以下のQuickstartコマンドが試してみます（ただし、個人的に、この設定はあまりお勧めできない）。

## Quickstartコマンド
# dockerコマンドの最後に、イメージ名を指定する
# --rm オプション(一時実行)で、実行後にコンテナが残りません。
docker run --rm -p 8787:8787 -e PASSWORD=yourpasswordhere rocker/rstudio

#[s6-init] making user provided files available at /var/run/s6/etc...exited 0.
#[s6-init] ensuring user provided files have correct perms...exited 0.
#[fix-attrs.d] applying ownership & permissions fixes...
#[fix-attrs.d] done.
#[cont-init.d] executing container initialization scripts...
#[cont-init.d] userconf: executing... 
#[cont-init.d] userconf: exited 0.
#[cont-init.d] done.
#[services.d] starting services
#[services.d] done.

#（command + c で停止）

dockerコマンド・オプションについて補足

  • docker run: コンテナを作成して起動する

  • --rm : コンテナの終了時に、自動的にコンテナをクリーンアップし、ファイルシステムを削除します。そのため、実行後にコンテナが残りません。

  • -p : ポート転送の指定（ホストのポート番号とコンテナのポート番号のマッピング）

  • -e PASSWORD= : パスワードの設定（パスワードは、yourpasswordhereとなる）

rocker/rstudioコンテナの起動は、以下のコマンドをお勧めする。

##個人的な推奨コマンド + オプション
#バックグラウンド起動
#好きなコンテナ名の割り当て（例えば、RStudio001）
#Rootログイン

docker run -d -p 8787:8787 --name RStudio001 -e ROOT=TRUE -e PASSWORD=PassWord rocker/rstudio

#もしコンテナ作成だけで良いなら
docker create -p 8787:8787 --name RStudio002 -e ROOT=TRUE -e PASSWORD=PassWord rocker/rstudio

dockerコマンド・オプションについて補足

  • docker run -d: コンテナを作成してバックグラウンド実行する

  • docker create: コンテナを作成して起動はしない

  • -d, --detach：コンテナを作成後、バックグラウンド実行

  • --name: コンテナ名の割り当て

  • -e ROOT=TRUE: Root設定

（その他コマンドオプション）

  • -v, --volume: コンテナへのホストのボリュームまたはディレクトリの割り当て

-v オプション、これが結構大切。ホストのフォルダを、Docker側に参照関係を持たせることができる。

以下のような設定で、参照関係を持たせる。

#ホストのフォルダをDockerに参照させる
-v $(pwd)/XXX:/home/XXX

コンテナがうまく作成されていたら、コンテナ一覧に表示されます。

#存在するコンテナ一覧の確認
docker ps -a

以下のコマンドで、ブラウザを立ち上げけ、Rstudio-serverにログインします。

#RStudio serverをひらく
open http://localhost:8787

#ログイン画面で、以下のユーザー名とパスワードを入力する。
#ユーザー名: rstudio
#パスワード: PassWord

各種dockerコマンドについて

コンテナ操作に関するdockerコマンドについて

次に、よく使用するdockerコマンドについて説明します。

#Dockerイメージの強制削除
docker rmi -f [イメージID / イメージ名]

#未使用イメージの一括削除
#<=1.12
docker rmi `docker images -q`
#>=1.13
docker image prune

#Dockerコンテナの強制削除（指定）
docker rm -f [コンテナID / コンテナ名]
#（または複数でも可能）
docker rm -f [コンテナID 1] [コンテナID 2] [コンテナID 3]

#全コンテナの一括削除
docker rm -f `docker ps -a -q`

#コンテナの一覧表示
docker ps -a 

##コンテナの開始・起動（ID頭文字の数文字でも可）
docker start [コンテナID / コンテナ名]

#コンテナの起動停止（ID頭文字の数文字でも可）
docker stop [コンテナID / コンテナ名]

##コンテナのリソース使用状況
docker stats
# command + c で停止

#その他: バックグラウンドで稼働しているコンテナに接続する場合
docker attach [コンテナID / コンテナ名]

dockerコマンド・オプションについて補足

  • -f: 強制削除、stopされている場合には不要

dockerの設定情報

Dockerの設定情報の表示には、infoオプションを利用します。

CPUs や Total Memoryなどのリソース情報も表示されます。

docker info

Client:
 Context:    default
 Debug Mode: false
 Plugins:
  app: Docker App (Docker Inc., v0.9.1-beta3)
  buildx: Build with BuildKit (Docker Inc., v0.5.1-docker)
  scan: Docker Scan (Docker Inc., v0.6.0)

Server:
 Containers: 2
  Running: 0
  Paused: 0
  Stopped: 2
 Images: 2
 Server Version: 20.10.5
 Storage Driver: overlay2
  Backing Filesystem: extfs
  Supports d_type: true
  Native Overlay Diff: true
 Logging Driver: json-file
 Cgroup Driver: cgroupfs
 Cgroup Version: 1
 Plugins:
  Volume: local
  Network: bridge host ipvlan macvlan null overlay
  Log: awslogs fluentd gcplogs gelf journald json-file local logentries splunk syslog
 Swarm: inactive
 Runtimes: io.containerd.runc.v2 io.containerd.runtime.v1.linux runc
 Default Runtime: runc
 Init Binary: docker-init
 containerd version: 05f951a3781f4f2c1911b05e61c160e9c30eaa8e
 runc version: 12644e614e25b05da6fd08a38ffa0cfe1903fdec
 init version: de40ad0
 Security Options:
  seccomp
   Profile: default
 Kernel Version: 5.10.25-linuxkit
 Operating System: Docker Desktop
 OSType: linux
 Architecture: x86_64
 CPUs: 4
 Total Memory: 7.776GiB
 Name: docker-desktop
 ID: NFEE:WTKU:EONK:NUEH:R25J:35EV:U5OL:IOQV:HSFM:J2I7:WRNR:AGPJ
 Docker Root Dir: /var/lib/docker
 Debug Mode: false
 HTTP Proxy: http.docker.internal:3128
 HTTPS Proxy: http.docker.internal:3128
 Registry: https://index.docker.io/v1/
 Labels:
 Experimental: false
 Insecure Registries:
  127.0.0.0/8
 Live Restore Enabled: false

ローカル・コンテナ間のファイルコピー

##コンテナにファイル・コピー
docker cp [ローカルパス] [コンテナID]:/home/rstudio

##ローカルにファイル・コピー
docker cp [コンテナID]:[rockerパス] [ローカルパス]
docker cp [コンテナID]:/home/rstudio [ローカルパス] 

#ローカルコピーの操作例
cd ~/
mkdir test
docker cp [コンテナID]:/home/rstudio ~/test

Dockerコンテナ内のシェルにログインする

コンテナ内のシェルに入るには、docker exec -it を使います。

#コンテナ内にbashで入る
docker exec -it [コンテナID / コンテナ名] /bin/bash
#あるいは
docker exec -it [コンテナID / コンテナ名] bash

dockerコマンド・オプションについて補足

  • -it: -i -t と同じ。 /bin/bash あるいは R のようなインタラクティブなプロセスでは、-itオプションでコンテナのプロセスに対して tty を割り当てる。一方、Rstudio Server使用時には、-it オプションを一般的につけない。

  • -i, --interactive: コンテナプロセスの標準入力表示

  • -t, --tty: コンテナプロセスに擬似TTYの割り当て

その他Dockerイメージのセットアップについて

rocker/tidyverseイメージについて

#rocker/tidyverseイメージのダウンロード・コンテナ起動
docker pull rocker/tidyverse
docker run -d -p 8787:8787 -e ROOT=TRUE -e PASSWORD=PassWord  rocker/tidyverse

rocker/tensorflowイメージについて

rockerで、tensorflowをセットアップする際のTipsです。

#Docker.appの起動（もし起動していないなら）
open /Applications/Docker.app

#rocker/tensorflowイメージのダウンロード・コンテナ起動
docker pull rocker/tensorflow
docker run -d -p 8787:8787 -e ROOT=TRUE -e PASSWORD=PassWord  rocker/tensorflow

# R/tensorflowのCPU起動
docker run -it rocker/ml R

# RStudio/tensorflowのCPU起動
docker run -d -p 8787:8787 -e PASSWORD=PassWord -e ROOT=TRUE rocker/ml

もしrocker/tensorflowでのPython/pipのセットアップするなら、

Rstudio server上でConsole横のTerminalタブに移動して、以下の２つのコマンドを実行します。

sudo apt update
sudo apt install python3 python3-pip

まとめ

5-10分ぐらいで、Rstudio-serverがセットアップできます。いろいろと助かりますね。

補足・参考資料

HomeBrewでインストールした rstudio-serverのアンイストール

brew uninstall rstudio-server
#Uninstalling /usr/local/Cellar/rstudio-server/1.2.5001... (1,366 files, 298.2MB)

#設定ファイルの表示確認
cat /etc/rstudio/rsession.conf
cat /etc/rstudio/rserver.conf

#設定ファイルを消す
sudo rm -rf /etc/rstudio

nginxの設定はそのままでOKだけど、消しても良い。

cat /usr/local/etc/nginx/servers/default.conf
#server {
#    listen 80;
#    server_name localhost;
#location /rstudio/ {
#      rewrite ^/rstudio/(.*)$ /$1 break;
#      proxy_pass http://localhost:8787;
#      proxy_redirect http://localhost:8787/ $scheme://$http_host/rstudio/;
#    }
#  }

rm /usr/local/etc/nginx/servers/default.conf

#nginxを消すなら
brew uninstall nginx

rm -rf \
  /usr/local/etc/nginx \
  /usr/local/etc/nginx/fastcgi.conf \
  /usr/local/etc/nginx/fastcgi.conf.default \
  /usr/local/etc/nginx/fastcgi_params \
  /usr/local/etc/nginx/fastcgi_params.default \
  /usr/local/etc/nginx/koi-utf \
  /usr/local/etc/nginx/koi-win \
  /usr/local/etc/nginx/mime.types \
  /usr/local/etc/nginx/mime.types.default \
  /usr/local/etc/nginx/nginx.conf \
  /usr/local/etc/nginx/nginx.conf.default \
  /usr/local/etc/nginx/scgi_params \
  /usr/local/etc/nginx/scgi_params.default \
  /usr/local/etc/nginx/uwsgi_params \
  /usr/local/etc/nginx/uwsgi_params.default \
  /usr/local/etc/nginx/win-utf

nginxの設定が残っている場合は、http://localhost/rstudio/で、OK

sudo nginx
open http://localhost/rstudio/
#でもアクセス可能なるはず

Docker for Macでのメモリ上限の設定

Docker for Macでのメモリ上限とかを変更するには、 メニューバーのDockerアイコンから、Preferences... に入る。

PreferencesのResourcesパネルをみると CPUs、Memory、Swap、Disk image sizeの設定があるので、 Memory設定を変えることで、メモリ上限を変更できる。

8787ポートの使用有無の確認

ポート使用が重複していると、 うまくRstudio-serverが立ち上がらないので、 補足として述べておく。

#オープンしているポート一覧
sudo lsof

#8787ポート使用の表示
sudo lsof -i:8787

Docker run リファレンス

docs.docker.jp

docs.docker.jp

Docker create リファレンス

docs.docker.jp

参考

qiita.com

medium.com

www.naka-sys.okinawa

www.tohoho-web.com

*1:実際、よく分からないが、、、

*2:なぜか、CUI版はうまく動作しない

*3:ユーザーが作成したイメージ・コンテナをアップロードして公開・共有できるサービスで、自由にダウンロードして環境構築できる。