list-url
别名为 dvc ls-url
列出受支持 URL 中的内容(例如 s3://、ssh:// 等协议)。
可用于查找可通过 dvc get-url 或 dvc import-url 获取的数据。
概要
usage: dvc list-url [-h] [-q | -v] [-R|-T] [-L depth] [--size] [--fs-config <name>=<value>] url
positional arguments:
url (See supported URLs in the description)描述
列出外部位置的文件和目录。dvc list-url 提供统一接口,用于浏览任何被 dvc get-url 或 dvc import-url 支持的协议所访问的外部位置内容。例如,使用 s3:// 协议时大致等同于 aws s3 ls,使用 ssh:// 时则类似于 ssh user@host ls -a。
url 参数指定要列出数据的位置。支持多种类型的外部数据源:
| 类型 | 描述 | url 格式示例 |
|---|---|---|
s3 | Amazon S3 | s3://bucket/data |
azure | Microsoft Azure Blob 存储 | azure://container/data |
gs | Google Cloud Storage | gs://bucket/data |
ssh | SSH 服务器 | ssh://user@example.com/path/to/data |
本地 | 本地路径 | /path/to/local/data |
如果通过 pip 安装 DVC 并计划将云服务作为外部数据源,可能需要安装以下可选依赖项:[s3]、[azure]、[gs]、[oss]、[ssh]。或者使用 [all] 来包含所有依赖。命令格式如下:pip install "dvc[s3]"。(此示例会同时安装 boto3 库以支持 S3 存储。)
默认仅列出根目录,但可以使用 -R 选项递归列出所有子目录中的文件。
选项
-
-R,--recursive- 递归列出所有子目录中的文件。 -
-T,--tree- 以树形结构递归显示目录内容。 -
-L,--level <depth>- 限制递归深度。 -
--size- 显示文件大小。 -
--fs-config <name>=<value>- 针对目标 URL 的dvc remote配置选项。 -
-h,--help- 打印使用说明/帮助信息,然后退出。 -
-q,--quiet- 不向标准输出写入任何内容。若无错误则返回退出码 0,否则返回非零值。 -
-v,--verbose- 显示详细的跟踪信息。
示例:Amazon S3
该命令将列出指定路径下的对象和公共前缀:
$ dvc list-url s3://bucket/pathDVC 要求 AWS CLI 已经完成配置。DVC 将使用 AWS 凭证文件访问 S3。
示例:SSH
$ dvc list-url ssh://user@example.com/path/to/data使用默认 SSH 凭证,上述命令将列出 data 目录内的文件和子目录。
示例:本地文件系统
$ dvc list-url /local/path/to/data上述命令将列出 /local/path/to/data 目录。