Jan 23, 2024 updated
- Cray-XC40 @ JAIST 19728 cores (2017-)
- VPCC @ JAIST 1536 cores (2016-)
- VPCC (P100 GPU) @ JAIST 256 cores + 16GPU
- VPCC (K40 GPU) @ JAIST 80 cores + 8GPU
- LargeMemoryCluster(12TB) @ JAIST 72 cores (2020-)
- LargeMemoryCluster(6TB) @ JAIST 72 cores (2020-)
- LargeMemoryCluster(1.5TB) @ JAIST 1920 cores (2020-)
北陸先端大は、保有台数7台/リプレイス期間4年の運用体制で、教育用に常に最新のスパコンを供する、特色ある国立のスパコン拠点です。2020年時点で上記7台のスパコンが供用されています。
As a representative user of massive parallel simulation, we are using other HPC outside of JAIST,
K super computer
SR16000 at IMR
量子モンテカルロ法電子状態計算コード「CASINO」の国際的大規模ヘビーユーザとして、学内スパコンの他にも、2013年時点、上記のような外部スパコンで計算を運用しています。
Hitachi SR11000, SR8000, SR2201
SGI Altix, Origin
Fujitsu FX10, Prime_Power
NEC SX5
Cray T3E, XT3, XT4, XT5
IBM BlueGene
DEC Alpha
SGI-Altix3000, SGI-cluster(3920cores)
FujitsuCX250
電子状態計算の代表的並列アプリの開発サイド・コアユーザとして、これまで上記のような代表的マシンに使用経験を有しています。
07年度からは、研究室独力での計算資源構築と保守の体制を確立している。量子モンテカルロ法は大量のCPU資源を要する計算法であるが、プロセッサ間の通信頻度は少なく、したがって、高速ネットワーク結合など並列計算機で最も技術とコストを要する部分にあまり依存せず、ほぼCPU台数に応じて性能を向上させる事が出来る。また、統計蓄積を単調に積み上げていくという事で計算が長大となっているだけなので、短時間ジョブを継続させて計算を進める事が可能で、システム障害に強く、並列環境の長時間稼働信頼性にもあまり依存しない。そこで、PC資材を研究室独力でネットワーク結合させ、クラスタ計算機を構築運用している。これにより高価な保守サポート料金を回避し、自由にメモリ増設や積み替えを行う事が可能となった。また、08年度からは、PC自体をパーツから自作し、更に安価にクラスタ計算機を自作運用している。現在、既に10TFlops超の計算資源を研究室で確保しており、数年前では大型専用機でしか流れなかったような大規模計算もグループ内で問題なく実行可能となっている。
64ビット対応LinuxOSの無料入手が容易となった08年度からは、Intel_Core2QuadやCore i7を搭載した自作PCをパーツから組み上げて、独力で並列クラスタを構築運用している。マザーボード当たり6-7万円程度で4coresのCPU資源が入手可能で、普段は、32並列規模の量子モンテカルロ計算が複数本数流れている。これら自作クラスタ群は、16台毎(64コア毎)に可搬ラック上に構築し、研究棟内に分散した各フロア拠点に移動可能としている。通常の100V電源で稼働し、騒音や発熱もさほどではないため、冬期は一部を居室に移動させ、暖房にも併用している。
Cores for MPI parallel calculation owned by my group/ 7TFlops相当
AMD EPYC 7702P, 64cores/node x 3nodes (192 cores)
Intel Core i9-9820X + RTX2080Ti, 40cores/nodes x 4node (160 cores) + 4 GPU
Intel Core i7-7700K, 12cores/nodes x 3node (42 cores)
Xeon E5-26220v4, 16cores/nodes x 2node (32 cores)
Intel Core2Quad x 48 cpus (192 cores),
Intel Core i7 x 112 cpus (448 cores, logically 896 cores)
AMD Phenom II X6 x 20 cpus (120 cores)
Apple Xserve (Xeon/3.0GHz), 4core/node x 29
Apple Xserve (Xeon/3.0GHz), 8core/node x 8
How to setup your Macintosh for Homebrew
N.B.) Homebrew version is RECOMMENDED (on 22Apr2019).
Click here for Dropbox link for MacSetup
OSX 10.9 10.10 10.11 10.12 10.15 11.2 12.0 12.5
*sshfs OK [1] [1] OK OK OK
*pTeX OK OK OK OK OK OK OK OK
*xmgrace OK OK OK OK OK -
*gnuplot OK OK OK OK OK OK
*pukiwiki OK OK OK OK - - - -
*xcrysden OK OK OK OK ? -
*XQuartz OK OK OK [2] OK -
*MathType OK OK OK [3] [4] - - -
OS update
Setup your iCloud account
Warning
You should always “maezono” as your account name (the name of home directory) on a mac computer.
These are possible to be executed parallel wise.
Open ‘Terminal.app’ and type this command
% /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
% cd
% echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> .bash_profile
Note
IntelとArmでhomebrewがインストールされる位置が異なる。 そこで、’eval “$(/opt/homebrew/bin/brew shellenv)”’ を.bash_profileに加筆している。 shellenvはbrewを設定するためのコマンドを表示するためのものであり、
% brew shellenv
となる。evalは引数の内容をコマンドとして実行するコマンドであるから、 .bash_profileに上記のように書き込むことで、機種ごとに適切なパスが設定され、 使えるようになる。
Installation
% brew install --cask dropbox
% open -a dropbox
Synchronisation
Warning
Do NOT synchronise all the files simultaneously, but USE partial synchronisation step by step. First synchronise ONLY ../02Shared/07maezonoSettings/04commonSetup
Note
SmartSync in available on a new version of Dropbox!!
Then increase the contents to be synchronised, otherwise you have to wait for a couple of days to get even a tiny text files until other heavy contents are completed to be downloaded….
Setup
Preference-> Viewing -> check Use column layout
View -> Columns ->”attached file, receiving time, sender,mailbox,destination”
View -> uncheck “Organize by Conversition”
open /Users/maezono/Dropbox/02Shared/07maezonoSettings/04commonSetup/09otherUtilities/04mail/MoveMail2MailBox/How_to_install_this.doc, and follow the instruction.
Note
classic layout (after Catalina)
View -> check use as Columns
View -> uncheck side preview
Restore all the older emails in PC
% brew install --cask emacs
Note
% brew install emacs
とすると下記の位置に入ってしまう:
% /opt/homebrew/opt/emacs/bin/emacs
こうなってしまった場合には、
% brew remove emacs
% brew install –cask emacs
とすれば回復する。
From catalina, the default shell is set zsh. so, please switch to bash
% chsh -s /bin/bash
% cd
% echo "export BASH_SILENCE_DEPRECATION_WARNING=1" >> .bash_profile
% pwd
/Users/maezono
% vi .bash_profile
source ~/.bashrc
% vi .bashrc
source ~/Dropbox/01backup/bin/bash_alias_private
source ~/Dropbox/02Shared/07MaezonoSettings/04commonSetup/01bin/bash_alias_common_homebrew
If you have already generated your RSA keys and you do not want to update them, please follow this instruction.
If you do not have RSA keys, go to 0703/ssh Key Generation and Key Authentication
% pwd
/Users/maezono
% mkdir .ssh
% cp YOUR RSAKEY (public and private)
% cp YOUR RSA_PRIVATE_KEY ~/.ssh
% cp YOUR RSA_PUBLIC_KEY ~/.ssh
% chmod 700 ~/.ssh/rsa*
Visualization of Library
chflags nohidden ~/Library/
N.B.) If this doesn’t work, go to ‘home(maezono) on Finder’, and press ⌘+J, then check “Show Library Folder”
sudo spctl --master-disable
MathType does NOT support Mac Catalina (on 04 June 2020)
Can be installed from the Mac App Store.
Go to App store. before installing Intel C++ compiler
Inorganic Crystal Structure Database - ICSD is a commercial database. If you want to use this, please contact Prof. Nakano. (internal use only).
CrystalMaker is a commercial software. If you want to use this, please contact Prof. Nakano. (internal use only).
Please install Intel compilers, if you have (commercial or educational) lisence.
Add the following source commands in ~/Dropbox/01backup/bin/bash_alias_private
# local intel setting
source /opt/intel/mkl/bin/mklvars.sh intel64
source /opt/intel/compilers_and_libraries/mac/bin/compilervars.sh intel64
Pycharm (Community) is a Python IDE. The community edition is Free/open-source.
CLion is a Cross-Platform IDE for C and C++ by JetBrains This is a commercial software. Please ask Prof. Nakano if you want to use (internal use only).
defaults write com.apple.screencapture location ~/Dropbox/
Installation
% brew install --cask mi
Setting the mi preferences-
cp -r Dropbox/02Shared/07maezonosettings/04commonSetup/05mi/mi3/mode ~/Library/Application\ Support/mi3/
% brew install --cask skype
% brew install --cask xquartz
After this installation, reboot your Mac once.
% brew install --cask vmware-horizon-client
% brew install wget
See the link for the latest information.
Just run
% brew install gnuplot
http://mashiroyuya.hatenablog.com/entry/installgnuplot
https://sourceforge.net/projects/aquaterm/files/
Aqua Term
http://xquartz.macosforge.org/
% brew install gnuplot
You can change your visualization software, executing
% set terminal qt
respectively.
% brew install grace
Test if it works:
% cp ~/Dropbox/02Shared/07maezonoSettings/04commonSetup/dmc.hist .
% xmgrace dmc.hist
% brew install gcc # installs gcc9
% export HOMEBREW_CXX=g++-9
% export HOMEBREW_CC=gcc-9
% brew install open-mpi
# Build from source required to use homebrew compiled compilers as
# opposed to Apple CLANG. Check "mpicc -v" indicates Homebrew gcc
Can be installed by using command:
% brew install openbabel
% brew install rar
% brew install nkf
Preparation
% brew install pyenv
% exec $SHELL -l
Identify which version is available
% pyenv install -l | grep anaconda
Choosing the latest version [xxx] (e.g., 4.0.0), then install it by
% pyenv install anaconda3-4.0.0
% pyenv global anaconda3-4.0.0
** Note for [OS12.x] (confirmed in OS12.5) **
ターミナルアプリに対して、Cmd+Iでアプリ設定で「Rossettaで開く」にチェックを入れる。その後に、
% pyenv install anaconda[xxx]
% pyenv global anaconda[xxx]
を実行すること。Rossetta対応をしないと、
% pyenv install anaconda3-5.3.1
ERROR: The binary distribution of Anaconda3 is not available for MacOSX-arm64.
といった顛末になる。
上記の設定が済んだら、再度、ロゼッタのチェックは外しておく(さもないと今度はsetal/setacなどが効かなくなる)。
bash_alias_privateに下記の記載があることを確認
%----------------------
eval "$(pyenv init -)"
# python setup
export PYENV_ROOT="$HOME/.pyenv"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init --path)"
%----------------------
そうしたら、
% python --version
Python 2.7.18
% fixal
% python --version
Python 3.7.0
として、Python3系に切り替わっていることを確認。
Check python version
% python --version
Installing sphinx by doing
% conda install sphinx
% pip install --upgrade pip
% pip install sphinx_bootstrap_theme
Please go to Github, and create your account.
Download supercell binary from the Website,
Go to the directory, and move it to the Application directory.
% cd /Users/maezono/Downloads
% mkdir supercell
% tar -xzf supercell-osx.tar -C supercell
% chmod -R 755 supercell
% mv supercell /Applications/
% vi ~/Dropbox/01backup/bin/bash_alias_private
export PATH=$PATH:/Applications/supercell
export BABEL_DATADIR=/Applications/supercell
Can be installed by using command: .. % brew install openbabel
% brew tap agiliopadua/extras
% brew install xcrysden
% xcrysden
% brew install --cask mactex
aspell (Spell Checker)
% brew install aspell
‘’Setting for TeX_via_Emacs’’
% cd
% sudo ln -s ~/Dropbox/02Shared/07maezonoSettings/dotEmacs/init.el .emacs
% sudo ln -s ~/Dropbox/02Shared/07maezonoSettings/dotEmacs/.aspell.en.pws .aspell.en.pws
% sudo ln -s ~/Dropbox/02Shared/07maezonoSettings/dotEmacs/dot_aspell.conf .aspell.conf
% sudo ln -s ~/Dropbox/02Shared/07maezonoSettings/dotEmacs/dot_template .template
How to typeset
When you typeset ‘filename.tex’, the corresponding command is
% texcompile.sh filename
% cat texcompile.sh
#!/bin/sh
target=$1
PATH=/Library/TeX/texbin/:$PATH
platex --kanji=sjis $target
pbibtex --kanji=sjis $target
platex --kanji=sjis $target
pbibtex --kanji=sjis $target
platex --kanji=sjis $target
dvipdfmx $target.dvi
open $target.pdf
Trouble shooting
When installing MacTeX via homebrew, you might encounter an installation failure, more precisely, download error from the default repository. In this case, replace the default download site with the JAIST mirror site, and then retry:
% cd /usr/local/Homebrew/Library/Taps/homebrew/homebrew-cask/Casks
% mnw mactex.rb
# url "http://mirror.ctan.org/systems/mac/mactex/mactex-#{version.no_dots}.pkg"
url "http://ftp.jaist.ac.jp/pub/CTAN/systems/mac/mactex/mactex-#{version.no_dots}.pkg"
Get your digital certificate.
Put/keep the certificate on your Dropbox using such a name ‘NIICertificateTil18May.p12’.
Send your digital certification to your iCloud email address
Tap the certification on the email, then “Profile” will appear.
Follow its instruction, e.g. enter your password, etc.
% brew install --cask docker
% open -a docker
% docker run -d -p 9000:80 --name php56-apache -v ~/Sites/wiki/:/var/www/html php:5.6-apache
% open http://localhost:9000
% defaults write com.apple.desktopservices DSDontWriteNetworkStores true
how to delete existing ‘.DS_store’
% find Desktop/target directory -name ".DS_Store" -print -exec rm {} ";"
Restart Finder
% killall Finder
Simulation Softwares