TAO Toolkit 快速入门指南

此页面提供了安装和运行 TAO Toolkit 的快速入门指南。

要求

硬件

建议使用以下系统配置，以使用 TAO Toolkit 和提供的支持模型实现合理的训练性能：

• 32 GB 系统内存
• 32 GB 的 GPU 内存
• 8核CPU
• 1 个英伟达 GPU
• 100 GB SSD 空间

A100、V100 和 RTX 30x0 GPU 支持 TAO Toolkit。

软件要求

安装先决条件

tao-launcher 严格来说是一个仅限 python3 的包，能够在 python 3.6.9 或 3.7 上运行。

1. docker-ce按照官方说明安装。

   安装 docker-ce 后，请按照安装后步骤操作，以确保 docker 可以在没有sudo.

2. nvidia-container-toolkit按照安装指南进行安装。

3. 获取NGC账户和 API 密钥：

   一个。转到 NGC 并单击目录选项卡中的TAO 工具包容器。显示此消息：。湾。输入您的电子邮件地址并单击下一步，或单击创建帐户。C。在提示您选择Organization/Team时选择您的组织。d。点击登录。Sign in to access the PULL feature of this repository

4. 使用命令登录 NGC docker 注册表 ( nvcr.io) docker login nvcr.io并输入以下凭据：

     a. Username: $oauthtoken
     b. Password: YOUR_NGC_API_KEY
   

   其中YOUR_NGC_API_KEY对应于您从步骤 3 生成的密钥。

DeepStream 6.0 -推荐用于 IVA 推理的 NVIDIA SDK。

安装 TAO 工具包

TAO Toolkit 是一个 Python pip 包，托管在 NVIDIA PyIndex 上。该包在后台使用 docker restAPI 与 NGC Docker 注册表交互，以提取和实例化底层 docker 容器。您必须有一个 NGC 账户和一个与您的账户关联的 API 密钥。有关创建 NGC 帐户和获取 API 密钥的详细信息，请参阅 安装先决条件部分。

1. virtualenv使用virtualenvwrapper. _

   您可以按照此链接 中的说明使用 virtualenvwrapper 设置 Python virtualenv。

   一旦您按照说明安装virtualenv和virtualenvwrapper，在 中设置 Python 版本virtualenv。这可以通过以下任一方式完成：

   • 定义名为 VIRTUALENVWRAPPER_PYTHON 的环境变量。此变量应指向本地计算机中安装 python3 二进制文件的路径。您还可以将其添加到您的.bashrc或默认.bash_profile设置您的 Python virtualenv。

     export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
     

   • virtualenv使用 virtualenvwrapper包装器创建时设置 python3 二进制文件的路径

     mkvirtualenv launcher -p /path/to/your/python3
     

   登录后virtualenv，命令提示符应显示您的虚拟环境的名称

   (launcher) py-3.6.9 desktop:
   

   完成会话后，您可以virtualenv使用以下 deactivate命令停用您的会话：

   deactivate
   

   virtualenv您可以使用命令重新实例化这个创建的环境workon。

   workon launcher
   

2. 安装名为nvidia-tao.

   pip3 install nvidia-tao
   

   如果您安装了旧版本的 :code:nvidia-tao启动器，您可以通过运行以下命令升级到最新版本。

   pip3 install --upgrade nvidia-tao
   

3. tao使用 :code:命令调用入口点。

   tao --help
   

   上述命令的示例输出为：

   usage: tao [-h]
            {list,stop,info,augment,bpnet,classification,detectnet_v2,dssd,emotionnet,faster_rcnn,fpenet,gazenet,gesturenet,
            heartratenet,intent_slot_classification,lprnet,mask_rcnn,punctuation_and_capitalization,question_answering,
            retinanet,speech_to_text,ssd,text_classification,converter,token_classification,unet,yolo_v3,yolo_v4,yolo_v4_tiny}
            ...
   
   Launcher for TAO
   
   optional arguments:
   -h, --help            show this help message and exit
   
   tasks:
         {list,stop,info,augment,bpnet,classification,detectnet_v2,dssd,emotionnet,faster_rcnn,fpenet,gazenet,gesturenet,heartratenet
        ,intent_slot_classification,lprnet,mask_rcnn,punctuation_and_capitalization,question_answering,retinanet,speech_to_text,
        ssd,text_classification,converter,token_classification,unet,yolo_v3,yolo_v4,yolo_v4_tiny}  
   

   请注意，在任务下，您可以看到所有启动器可调用的任务。以下是帮助使用 TAO 启动器处理已启动命令的特定任务：

   • 列表
   • 停止
   • 信息

   将 TAO Toolkit Launcher 安装到主机的本机 python3 而不是使用虚拟环境的推荐路径时，您可能会收到一条错误消息，指出tao找不到二进制文件。这是因为 pip 安装的二进制文件的路径tao未添加到PATH本地计算机的环境变量中。在这种情况下，请运行以下命令：

   export PATH=$PATH:~/.local/bin
   

运行 TAO 工具包

有关 TAO 启动器 CLI 的信息以及使用它来运行 TAO 支持的任务的详细信息，请参见TAO 工具包用户指南的 TAO工具包启动器 部分。

使用示例

NGC资源中提供了用于 TAO 工具包中支持的所有任务的示例 Jupyter 笔记本。TAO Toolkit 为计算机视觉和对话式 AI提供示例工作流。

计算机视觉

支持的计算机视觉任务的所有示例都托管在 ngc 上的 TAO Computer Vision Samples下。要运行可用示例，请使用以下命令下载此示例资源。

wget --content-disposition https://api.ngc.nvidia.com/v2/resources/nvidia/tao/cv_samples/versions/v1.3.0/zip -O cv_samples_v1.3.0.zip
unzip -u cv_samples_v1.3.0.zip  -d ./cv_samples_v1.3.0 && rm -rf cv_samples_v1.3.0.zip && cd ./cv_samples_v1.3.0

对话式人工智能

TAO Conversational AI 软件包提供了几个端到端示例工作流程，以使用 TAO Toolkit 训练会话 AI 模型，然后将它们部署到 Riva。您可以在以下位置找到这些示例：

您可以使用 NGC 资源页面上的 NGC CLI 命令下载这些资源。下载相应的教程资源后，您可以实例化 jupyter notebook 服务器。

pip3 install jupyter
jupyter notebook --ip 0.0.0.0 --allow-root --port 8888

将此命令生成的链接复制并粘贴到浏览器中以访问笔记本。该/workspace/examples文件夹将包含一个演示笔记本。如果端口 8888 不可用，请随意使用任何可用的空闲端口来托管笔记本电脑。