人工智能-02 准备开发环境持续更新,欢迎批评指正。创建服务器先准备一个服务器,最好能独立使用,方便后续开发和调试,也便于能随时对环境做更改且不影响其他人。通过ecs购买服务器参考官网的指导购买一个ECS服务器。cid:link_10注意:1、CPU、内存、存储资源以满足基本使用即可,根据自己情况选择,可以留一点余量,不用太大,以免造成浪费,后续有扩容需求,还可以继续扩充。如果是经常用可以选包周期,如果偶尔用,可以选按需购买。2、操作系统根据需求选择对应的镜像和版本。3、如果需要通过SSH登录Linux弹性云服务器时,弹性云服务器必须绑定弹性公网IP(EIP),其他参数如果没有特殊要求参考链接选择默认即可,确认购买的服务器参数,创建服务器。4、服务器不用的时候,可以先关机,节省费用。安全设置为了服务器安全,可以通过安全组配置网络策略,防止服务器被入侵。默认安全组的规则是在出方向上的数据报文全部放行,入方向访问受限,所以重点配置入方向的安全策略,可以以最小策略为原则,即只开放指定的用途(端口和协议)给指定的来源(IP),后面有其他需求的时候再开放。如:TCP:22端口,允许SSH远程连接Linux弹性云服务器。TCP:20-21端口,允许通过FTP上传和下载文件。ICMP,允许ping程序测试弹性云服务器的连通。服务器基本配置登录服务器通过轻量级的putty或者专业的Xshell、MobaXterm等其他工具,连接即可。在公司的工具网站上下载使用。cid:link_18 PING操作ping提供了基本的网络问题定位功能。如果不能使用ping操作,首先,检查ECS服务器的安全组是否放通ICMP协议。如果想让远端ping通服务器,需要放通入规则,如果服务器本地想ping通,需要放通出规则。再次,检查是否禁用了ping命令。临时允许PING操作的命令排查一下,命令重启失效:#echo 0 >/proc/sys/net/ipv4/icmp_echo_ignore_all其他,检查防火墙配置等。参考:cid:link_1Windows下的ping操作默认ping 4次,Linux默认会一直执行,通过- c参数可以指定ping多少次后自动终止。DNS解析上面ping用的IP地址,有时我们经常使用域名去ping,但域名却无法ping通,再结合提示信息大概率可以看出是没有做域名解析。临时生效:在/etc/resolv.conf 配置公司内网域名服务器后,可以解析域名。如果没有配置NDS域名解析服务器,ping域名的时候就会报Could not resolve 'xx域名',域名解析服务器可以在电脑上通过ipconfig –all查询后填上去,也可以内网上找一些。参考:cid:link_11永久生效(~不知道为什么实际操作不生效,暂时还是用临时方法~):/etc/resolv.conf是一个软连接,所以上面的方法会在重启服务器后失效。如果想永久生效就在/etc/resolvconf/resolv.conf.d/base文件中配置,然后使用sudo resolvconf -u使配置生效。 永久生效:找了DNS和OS的oncall同事帮定位后找到了解决方法。再次cat /etc/resolv.conf,文件里面写了关键信息,只是一开始不太懂,信息提示:1、不要编辑这个文件,因为会被覆盖2、这是一个软连接文件,实际指向了../run/resolvconf/resolv.conf3、运行systemd-resolve –status查看实际的nameservers执行systemd-resolve --status,发现:这里的DNS是创建服务器的时候,弹性网卡上绑定的子网对应的DNS,重新创建子网,修改DNS服务器地址,更换服务器的VPC,重启机器,DNS解析正确,ping域名正常,NDS永久生效。python开发环境安装配置配置华为内源新环境安装后,很多软件都是操作系统自带的。可以先更新一次。默认系统的安装包地址是国外的地址,下载会很慢或者直接下载失败,因此需要先替换软件包下载源地址,这里替换为公司的地址。华为开源镜像站的地址:https://mirrors.huaweicloud.com(公网)https://repo.huaweicloud.com(公网)首先ping一下内网镜像地址,看看服务器和内网镜像是否连通。 备份配置文件:sudo cp -a /etc/apt/sources.list /etc/apt/sources.list.bak修改sources.list文件,将http://archive.ubuntu.com和http://security.ubuntu.com替换成http://mirrors.tools.huawei.com,可以参考如下命令:sudo sed -i "s@http://.*archive.ubuntu.com@http://mirrors.tools.huawei.com@g" /etc/apt/sources.listsudo sed -i "s@http://.*security.ubuntu.com@http://mirrors.tools.huawei.com@g" /etc/apt/sources.listapt-get update #同步/etc/apt/sources.list,更新最新的软件包apt-get upgrade #对已经安装的软件包进行升级,如果出现/var/lib/dpkg/info相关问题参考:cid:link_7下载并更新软件:参考:DevEnvSetup - PerformanceQuickFeedback_VsCode (huawei.com)cid:link_12安装python安装系统时会默认自带python,但是版本会比较旧。通过which python命令查看当前python的路径。Whereis python可以看出系统安装了2.7和3.6的版本。查看python版本以及python路径:对于安装指定的python版本,可以下载源码后编译安装。参考:cid:link_81、安装编译依赖:sudo apt install -y wget build-essential libreadline-dev libncursesw5-dev libssl-dev libsqlite3-dev tk-dev libgdbm-dev libc6-dev libbz2-dev libffi-dev zlib1g-dev2、下载对应版本的python包cid:link_21,选择Gzipped source tarball,并上传到服务器并解压tar -zxvf Python-3.9.5.tgz。 3、cd Python-3.9.5/,进入解压后的Python-3.9.5目录,进行编译安装。执行如下命令编译安装:./configure --prefix=/usr/local/python39make && make install--prefix是Python的安装目录,同时安装了setuptools和pip工具,编译后提示安装成功,但是系统这里提示还没有环境变量。参考:cid:link_20配置软连接查看一下python的软连接,python、python2会进入安装的python2.7版本,python3会进入安装的python3.6版本。为了能使用我们自行安装的python3.9,这里需要把原来的软连接删除掉,添加python3.9的软连接。执行ll /usr/bin | grep python和ll /usr/bin | grep pip查看设置后的软链接删除原来的软连接:sudo rm pythonsudo rm python3 #删除软连接,并不会删除安装的python2.7和python3.5版本 创建新的软连接sudo ln -s /usr/local/python39/bin/python3.9 /usr/bin/python #创建软连接sudo ln -s /usr/local/python39/bin/python3.9 /usr/bin/python3 #创建软连接 配置后即可通过python直接进入python3.9运行环境。 同样,为pip命令创建软连接:sudo ln -s /usr/local/python39/bin/pip3.9 /usr/bin/pip #为 pip 设置软链接sudo ln -s /usr/local/python39/bin/pip3.9 /usr/bin/pip3 #为 pip 设置软链接重新安装python并更换软连接后,pip list命令会报错。此时把/usr/local/bin/pip的版本改成安装的版本即可。或者通过环境变量,把新安装的python放环境变量里(这里和上面的操作二选一)。配置环境变量,只修改当前用户的PATH并永久生效。echo $PATH #打印环境变量vim .bashrc #修改环境变量的配置文件source ~/.bashrc #配置文件参数立即生效参考:cid:link_15配置pip内源安装python三方库时,pip install命令仍然报错,网络一直发生重试。这是因为linux上下载/更新python库(pip install),默认会直接访问国外的镜像源地址,经常由于无法下载而安装失败,可以用公司的源下载安装。更新下载镜像的python三方库source源即可。更新源后,可正常下载安装python三方库。参考:cid:link_16安装pytorchpytorch官网:cid:link_22。官网提供了非常多的案例和文档,可以了解一下。可以在官网找到安装的命令和安装的要求,如建议Ubuntu的最低版本是13.04,python的最低版本是3.7。所以在安装环境前先确认好Linux、python、torch之间的版本依赖。pip install torch,同理安装torchvision、torchaudio库,安装完后通过pip查看包和版本。torchvision是pytorch的一个图形库,它服务于PyTorch深度学习框架的,主要用来构建计算机视觉模型。torchaudio是pytorch的一个音频库。pytorch基础参考:cid:link_14Pycharm远程连接服务器配置解释器pycharm远程连接服务器本地pycharm IDE远程连接服务器,这样可以多个人同时在相同的环境上开发调试。通过Tools->Deployment->Configuration,进入远程连接配置。首先配置连接,配置SSH登录信息并测试连通性。配置服务器远端的代码目录,本地代码将上传到这个目录。添加远程服务器的python解释器进入下一步输入密码,配置服务器上python解释器的路径,如果需要自动上传本地文件到服务器,可以勾上自动上传勾选框。添加成功后,自动显示读取到的服务器上安装的pip三方库。初次运行时确实用了服务器的解释器,但是运行报没有文件,这是因为前面我们可能没有选择自动上传,手动上传文件后运行成功。手动upload后,运行成功。参考:cid:link_17通过pycharm同步本地和服务器的文件pycharm连接esc服务器后,可以通过pycharm同步本地和服务器上的文件。本地和服务器上的文件映射关系是上面的mappings配置。上传:上面配置时勾选自动上传,在本地新建文件后,IDE会自动上传。下载:在服务器上新增文件后,需要通过IDE手动同步到本地。环境备份与保护通过镜像或快照可以快速、方便的恢复环境到备份时的状态。通过镜像创建ecs服务器创建镜像:cid:link_91、选择创建私有镜像,类型为系统盘镜像,为云服务器创建镜像。命名可以带上日期,或者其他易于辨识的标志,创建镜像即可。 2、用创建的镜像购买ECS云服务器,其他网络、硬盘配置参考原来的ecs配置。登录两个环境,看看安装的软件是否一样。推荐及时创建备份镜像,以镜像形式恢复环境,系统盘镜像是免费的。镜像计费标准:cid:link_3通过快照恢复环境在新建的环境上创建快照, 或者在首页快速进入快照页面。快照恢复:需要先关机、然后卸载磁盘后,再通过快照回滚。通过快照恢复数据:cid:link_5卸载一些安装包后,通过快照恢复,查看是否恢复环境。通过外部镜像创建ecs服务器参考:cid:link_61、准备镜像,准备将要创建服务器的镜像2、上传镜像,把外部镜像上传到obs3、注册镜像,通过镜像服务注册镜像4、创建ecs服务器,用注册的镜像创建ecs服务器如果想克隆他人环境,可以把他人的环境制作的镜像导出后作为外部镜像,然后基于这个镜像创建自己的服务器。Linux常用命令基本命令xxcommand –help #帮助命令,查询xxcommand的用法reboot #重启系统cat /proc/version #查看版本信息,lsb_release –a #查看Linux发行版,cat /etc/issue #查看Linux发行版echo $PATH #打印环境变量vim .bashrc #修改环境变量的配置文件source ~/.bashrc #配置文件参数立即生效vim /etc/hostname #修改主机名find /xx -name test01 #在根目录下查找test01这个文件夹ls /xx -lR|grep "^-"|wc –l #查看数据多少du -sh /xx #查看数据大小网络命令ifconfig #查看ip信息systemd-resolve --status #查看DNS服务状态systemd-resolve DOMAIN #解析域名,如systemd-resolve baidu.comdig #dig是一个给力DNS查询工具curl #网络连通测试、下载等工具
langtaol
发表于2025-04-02 11:13:42
2025-04-02 11:13:42
最后回复
5