Censys BigQuery 命令行工具

该脚本允许用户从命令行查询 Censys Data BigQuery Project 中的数据。查询结果可以导出为 JSON、CSV 或从终端屏幕查看。

注意：Censys Data BigQuery 项目可供企业客户和经批准的学术研究人员使用。有关产品层的更多信息，请联系sales@censys.io。

在 BigQuery 中设置服务帐号

在使用 BiqQuery 命令行工具之前，您需要设置一个与您的 Google Cloud Platform 关联的服务帐户。

Google 提供了有关如何通过 GCP 控制台或命令行创建服务帐户的文档。请访问身份验证入门以获取完整文档。

一定要设置GOOGLE_APPLICATION_CREDENTIALS环境变量。

export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

安装

该库可以使用pip.

pip install censys-bigquery-cli

或者

pip install git+https://github.com/censys/censys-bigquery

用法

该脚本允许您在脚本中输入 SQL 查询作为参数，并将结果作为屏幕输出（默认）、JSON 或 CSV 返回。

以下是一些示例查询：

censys_bq 'SELECT ip, ports, protocols, tags FROM `censys-io.ipv4_public.current` WHERE location.city = "Ann Arbor" and REGEXP_CONTAINS(TO_JSON_STRING(tags), r"rsa-export") LIMIT 25'

censys_bq 'with user_ports as (
SELECT [443, 3306, 6379] as selected_ports
)

SELECT DISTINCT ip, TO_JSON_STRING(user_ports.selected_ports)
  FROM `censys-io.ipv4_banners_public.current`, user_ports, UNNEST(services) as s
  WHERE (SELECT LOGICAL_AND(a_i IN (SELECT port_number FROM UNNEST(services))) FROM UNNEST(user_ports.selected_ports) a_i) LIMIT 15' --format csv

censys_bq 'SELECT COUNT(ip), p80.http.get.body_sha256
FROM `censys-io.ipv4_public.current`
WHERE REGEXP_CONTAINS(p80.http.get.body, r"(?i)coinhive.min.js>")
GROUP BY p80.http.get.body_sha256
ORDER BY 1 DESC' --format json

censys_bq 'with Data as (SELECT
  distinct fingerprint_sha256
FROM
  `censys-io.certificates_public.certificates`, UNNEST(parsed.subject.organization) as po, UNNEST(parsed.names) as parsed_names
WHERE
   REGEXP_CONTAINS(TO_JSON_STRING(parsed.names), r"[.]example[.]")
)

SELECT
  distinct ip
FROM
  `censys-io.ipv4_banners_public.current` as c, UNNEST(services)
      JOIN Data as d on d.fingerprint_sha256 = certificate.fingerprints.sha256
LIMIT 20' --format json

资源

• 资源
• 问题跟踪器
• Censys 主页

贡献

所有贡献（无论多么小）总是受欢迎的。

发展

git clone git@github.com:censys/censys-bigquery.git
cd censys-bigquery/
pip install -e ".[dev]"

执照

该软件根据Apache 许可证 2.0 版获得许可

• 版权所有 (C) 2021 Censys, Inc.