目錄
- 0 本地ide式開發(fā)
- 1.0 局域網(wǎng)下遠程終端開發(fā)
- 1.1 局域網(wǎng)下遠程ide式開發(fā)
- 1.2 公網(wǎng)下遠程ide式開發(fā)
- 1、購買一個阿里云服務器
- 2、阿里云服務器終端內(nèi)
- 2.1、先開放端口
- 2.2、接下來配置frp
- 2.3、設置自啟動
- 3、內(nèi)網(wǎng)linux服務器配置
- 4、Win端ssh連接中介
- 4.1 局域網(wǎng)下遠程容器的ide式開發(fā)
- 4.2 公網(wǎng)下遠程容器的ide式開發(fā)
本文將介紹“局域網(wǎng)下遠程ide式開發(fā)”、“公網(wǎng)下遠程ide式開發(fā)”、“局域網(wǎng)下遠程容器的ide式開發(fā)”、“公網(wǎng)下遠程容器的ide式開發(fā)”這四種開發(fā)流程，讓你無論在工位上還是在家中，都可以像打開本地ide那樣進行遠程的項目開發(fā)。
0 本地ide式開發(fā)
最方便、最開始的開發(fā)方式當然是在本地ide中，比如初學者在Windows電腦上使用pycharm來學習python、深度學習，或者使用devc++、visual studio等來編寫c++項目。在本地ide中，可以瀏覽文件夾、查看文本和圖片等，進一步還可以運行調(diào)試python、C++等項目。這樣的開發(fā)過程稱為“ide式開發(fā)”，初學者會覺得這些都是理所當然的。
1.0 局域網(wǎng)下遠程終端開發(fā)
但是隨著能力的提升、需求的擴大，我們需要使用Linux系統(tǒng)來進行開發(fā)，甚至是純服務器形式的linux，連顯示屏都沒有。此時我們會初步接觸ssh，連上linux服務器的終端，然后通過敲命令的方式來執(zhí)行一些程序的運行，查看結果。注意只連終端是不可能進行代碼編寫、調(diào)試等步驟的，更別說看圖片啥的。此時的做法應為在本地機寫好代碼，再通過ftp傳輸?shù)椒掌魃线\行。不過這也算入門linux中的項目開發(fā)了。
1.1 局域網(wǎng)下遠程ide式開發(fā)
但是這種方式太low了，就不能實現(xiàn)windows里ide式開發(fā)的效果嗎？可以的！借助強大的vscode的remote-ssh插件，同樣是ssh連接服務器的22端口，卻可以實現(xiàn)ide式開發(fā)，這樣就可以愉快的點來點去和調(diào)試代碼了。想實現(xiàn)這個功能請搜索“vscode遠程連接linux”，或“vscode remote-ssh連接linux”等教程。
在這個環(huán)節(jié)，我們應該對ssh的原理、公鑰私鑰的概念與使用有所了解，還需要了解sshd_config中各項配置的含義。
1.2 公網(wǎng)下遠程ide式開發(fā)
再進一步，我們會有居家辦公的需求，比如現(xiàn)在疫情比較頻繁，在家里沒有了公司wifi，脫離了局域網(wǎng)環(huán)境，我們是無法像以前那樣連接linux服務器的，因為ip是內(nèi)網(wǎng)中的，而我們處在家中的話還去連那個ip，肯定就不對了。此時需要借助“端口轉發(fā)”，或者說“內(nèi)網(wǎng)穿透”工具來把處在公司內(nèi)網(wǎng)的linux服務器的22端口暴露在公網(wǎng)環(huán)境中。對于計算機網(wǎng)絡不太好的同學來說不論是理解還是實現(xiàn)這一功能都是比較困難的。
所謂內(nèi)網(wǎng)穿透，就是借助處在公網(wǎng)中的服務器作為中介，讓公司的linux服務器和家里的windows電腦都連接上公網(wǎng)服務器，windows向中介發(fā)送“sudo apt install vim”命令，中介就把這句話轉發(fā)給公司linux服務器，公司linux服務器就會執(zhí)行這個命令，然后返回“successfully installed vim.”信息給中介，然后中介再把這條信息傳遞給windows電腦，于是整體效果就是win端輸入sudo apt install vim，接著顯示successfully installed vim.這就是內(nèi)網(wǎng)穿透。在內(nèi)網(wǎng)穿透基礎上，通過vscode的remote-ssh配置一下，就能實現(xiàn)公網(wǎng)下遠程ide式開發(fā)。
內(nèi)網(wǎng)穿透要注意的細節(jié)是比較多的，為了方便大家實現(xiàn)，也為了以后自己在新設備上復現(xiàn)，我做一些詳細的說明。
整個內(nèi)網(wǎng)穿透流程如下
在具體實施上，有3個環(huán)節(jié)要做：
1、購買并設置好擁有公網(wǎng)ip的阿里云服務器，在控制臺的安全組中（并非在服務器內(nèi)部，而是在阿里云控制臺中）開放相應端口
2、在阿里云服務器上安裝ssh, 安裝frp，完成frps.ini的配置，開啟防火墻，開放相應端口，frps服務添加至自啟動并開啟
3、在公司內(nèi)網(wǎng)服務器上安裝frp，完成frpc.ini的配置，開放相應端口，開啟ssh，frpc服務添加至自啟動并開啟。
具體說明：
1、購買一個阿里云服務器
我買的是1核2g cpu，1Mbps帶寬，100G容量的ecs.n4.small服務器，1年84元，服務器會提供一個公網(wǎng)ip（無論在哪個網(wǎng)絡環(huán)境下都可以憑借公網(wǎng)ip訪問云服務器，假設此ip為89.67.45.200）。在阿里云控制臺的安全組的出和入里面添加服務端的反向代理監(jiān)聽端口（7000），映射端口（6000），為了后續(xù)的別的設備的端口轉發(fā)，可以多開幾個端口
?
2、阿里云服務器終端內(nèi)
2.1、先開放端口
具體可參考這里
apt install openssh-server systemctl start firewalld firewall-cmd --add-port=7000/tcp --permanent firewall-cmd --add-port=6000/tcp --permanent firewall-cmd --add-port=6001/tcp --permanent firewall-cmd --reload
2.2、接下來配置frp
mkdir /root/apps && cd /root/apps wget https://github.com/fatedier/frp/releases/download/v0.34.3/frp_0.34.3_linux_amd64.tar.gz tar -xvf frp_0.34.3_linux_amd64.tar.gz cd frp_0.34.3_linux_amd64
將frps.ini內(nèi)容改為
[common] bind_addr = 0.0.0.0 bind_port = 7000 token = 1234
frps表示server端的frp，同理frpc表示client端的frp。
其中bind_port表示監(jiān)聽端口。一個中介服務器可以同時完成多個設備的端口轉發(fā)，但是監(jiān)聽端口只能有一個。
token表示密碼，別的設備想讓中介轉發(fā)端口，得有這個密碼
2.3、設置自啟動
將sysytemd下的frps.service內(nèi)容改為
[Unit] Description=Frp Server Service After=network.target [Service] Restart=on-failure RestartSec=5s ExecStart=/root/apps/frp_0.34.3_linux_amd64/frps -c /root/apps/frp_0.34.3_linux_amd64/frps.ini [Install] WantedBy=multi-user.target
然后執(zhí)行
cp ./systemd/frps.service /etc/systemd/system/ systemctl daemon-reload systemctl enable frps systemctl start frps
這樣的話中介就配置好了
3、內(nèi)網(wǎng)linux服務器配置
apt install openssh-server mkdir /home/user/apps && cd /home/user/apps wget https://github.com/fatedier/frp/releases/download/v0.34.3/frp_0.34.3_linux_amd64.tar.gz tar -xvf frp_0.34.3_linux_amd64.tar.gz cd frp_0.34.3_linux_amd64
將frpc.ini內(nèi)容改為
[common] server_addr = 89.67.45.200 server_port = 7000 token=1234 [linux_in_company] type = tcp local_ip = 127.0.0.1 local_port = 22 remote_port = 6000
server_addr表示中介的公網(wǎng)ip，server_port 是中介的監(jiān)聽端口，linux_in_company是這臺linux服務器在中介那里的命名，如果有多個設備要用中介來轉發(fā)端口，這個命名不可以重復
local_port 表示Linux服務器中要轉發(fā)出去的端口，22表示終端
remote_port 是中介上的映射端口。win電腦訪問中介的6000端口就能起到訪問Linux服務器22端口的效果
然后做自啟動，修改systemd下的frpc.service
[Unit] Description=Frp Client Service After=network.target Wants=network.target [Service] Restart=on-failure RestartSec=5s ExecStart=/home/user/apps/frp_0.34.3_linux_amd64/frpc -c /home/user/apps/frp_0.34.3_linux_amd64/frpc.ini ExecReload=/home/user/apps/frp_0.34.3_linux_amd64/frpc reload -c /home/user/apps/frp_0.34.3_linux_amd64/frpc.ini [Install] WantedBy=multi-user.target
再
cp ./systemd/frpc.service /etc/systemd/system/ systemctl daemon-reload systemctl enable frpc systemctl start frpc
4、Win端ssh連接中介
到這一步就很簡單了。
ssh [email protected] -p 6000即可，想登root就改成ssh [email protected] -p 6000，后面相應的輸root的密碼即可。有時記得sudo的密碼卻忘了su的密碼咋整？sudo passwd root重置root密碼即可
此外，還可以通過密鑰對來進行免密登陸，這里不做贅述
4.1 局域網(wǎng)下遠程容器的ide式開發(fā)
隨著能力的進一步提升，我們不得不面臨越來越困難、復雜的環(huán)境配置過程，比如cuda，tesnorrt的安裝與更換版本等。很多時候，目的是C，但是為了做C要先把A和B這兩個配置環(huán)境的環(huán)節(jié)給踩一遍，隨著這種情況的增多，我們就會發(fā)現(xiàn)原先簡單的linux服務器變得越來越龐大復雜，里面配置了各種各樣的環(huán)境，復雜到，嘗試更新顯卡驅動失敗了，導致很多東西都得跟著完蛋，最后連pytorch模型都跑不起來。
所以，我們直接在服務器本體上進行各種環(huán)境的配置與項目的開發(fā)有兩個缺點：其一是耗時間，有的東西的確沒必要搞這么清楚，如果有現(xiàn)成的直接用當然最好；其二是環(huán)境間容易相互影響產(chǎn)生依賴，一個出問題了其他都得完蛋。
在這種問題的驅動下，容器內(nèi)的項目開發(fā)流程應運而生：我們打開Linux服務器，并不直接在其上面進行環(huán)境配置與代碼編寫調(diào)試，而是再在linux中創(chuàng)建容器并進入，在容器中去進行開發(fā)。一進容器，各種需要的環(huán)境已經(jīng)為你準備好了，比如英偉達官方的pytorch容器，里面就配好了cuda,cudnn,pytorch,tensorrt等等，這就為我們節(jié)省了大量寶貴的時間。再者，在容器里面不管你怎么折騰，只要別把掛載文件夾里的東西亂刪，那都沒事，絲毫不影響容器外部的linux服務器。不小心把容器搞壞了，再run一個，一切照常。
而想要實現(xiàn)遠程容器的ide式開發(fā)也很簡單，只要在創(chuàng)建容器時增加端口映射即可，比如docker run … -p 6666:22 …，然后在容器中安裝好ssh，開啟服務，這樣的話訪問linux服務器（稱為host）中的6666端口就等同于訪問容器的22端口了。
所以只需把“1.1 局域網(wǎng)下遠程ide式開發(fā)”中的ssh指令的用戶名改為root，端口改為6666，即可在vscode中通過局域網(wǎng)來實現(xiàn)遠程容器的ide式開發(fā)。
4.2 公網(wǎng)下遠程容器的ide式開發(fā)
有了“1.2 公網(wǎng)下遠程ide式開發(fā)”和“2.1 局域網(wǎng)下遠程容器的ide式開發(fā)”的基礎，公網(wǎng)下遠程容器的ide式開發(fā)就變得非常簡單：在公司linux服務器中的frpc.ini中增加一個端口轉發(fā)請求，把6666端口轉發(fā)到中介的6001端口，這樣的話ssh [email protected] -p 6001就會先轉到linux服務器的6666端口，再轉到容器的22端口，成功在家中進行公司服務器中容器的ide開發(fā)
不過要注意，ssh連之前要先在linux服務器中運行該容器，并通過/etc/init.d/ssh start開啟ssh服務。這個環(huán)節(jié)可以使用容器的初始腳本來完成，首先在linux服務器上找個地方寫一個腳本~/code/start.sh
#! /bin/bash
if [ -f "/etc/init.d/ssh" ]; then
echo "ssh OK"
/etc/init.d/ssh start
else
echo "ssh not installed. Start intallation."
/code/install_ssh.sh
fi
/bin/bash
然后chmod 777 ~/code/start.sh
其中安裝ssh的腳本如下，沒個容器情況不同，所以僅供參考
#! /bin/bash cd / echo -e "deb http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse\ndeb http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-security main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-updates main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-proposed main restricted universe multiverse\ndeb-src http://mirrors.aliyun.com/ubuntu/ xenial-backports main restricted universe multiverse\n" >> sources.list cp sources.list /etc/apt/sources.list apt update apt install -y --allow-downgrades openssh-client=1:7.2p2-4ubuntu2.10 apt install -y openssh-server echo "ssh installed. Now you need to configure it."
然后chmod 777 ~/code/install_ssh.sh
接下來創(chuàng)建容器！
docker run --gpus all -it -p 6666:22 --name trt -v ~/code:/code nvcr.io/nvidia/tensorrt:21.10-py3 /bin/bash /code/start.sh
我來詳細解讀一下這條指令：
run就是從鏡像創(chuàng)建容器，–gpus all就是把host的所有gpu都開放使用權利，-it就是以交互模式運行容器并為其分配一個終端命令行，-p 6666:22就是把容器的終端端口22映射到host的6666端口，–name trt就是給這個容器命名為trt，-v ~ /code:/code就是把host的~/code文件夾掛載到容器中的/code文件夾。nvcr.io/nvidia/tensorrt:21.10-py3就是鏡像的名字，/bin/bash /code/start.sh表示一創(chuàng)建容器就用bash執(zhí)行這條start.sh腳本，而且start.sh腳本末尾還有一行“/bin/bash”就是說執(zhí)行完安裝或開啟ssh腳本后，執(zhí)行bash，留著終端這個程序，不然容器會自動退出。
這樣就可以做到一開啟容器，就能自動開啟ssh啦
