用于分析由 archive.org 存档的网站内的链接的工具
项目描述
Metaarchive是在需要分析来自 http://archive.org的一些存档站点以创建一些指标时创建的。在这项努力中,某些程序一遍又一遍地重复,所以我决定把它们放在一个包裹里。本着开源的精神,我决定公开这个项目,也许有人可以利用它来偷工减料。如果是这样,那太好了,如果您愿意,请告诉我。
访问由 archive.org 存档的页面时,请保持合理。这是一个很棒的项目,不需要对他们的服务器造成过大的压力。
以下是该库的示例调用,有关更多信息,请查看文档。
from metarchive import create_url_analyser, AnalyseURL, ArchiveLink
analyse: AnalyseURL = create_url_analyser()
links: list[ArchiveLink] = list(
analyse(
'http://web.archive.org/web/20210101000012/http://example.com/'
)
)
print(links)
# Will yield something like
[
ArchiveLink(timestamp=datetime.datetime(2020, 11, 30, 23, 42, 54),
original_url=AnyUrl('https://example.com/', scheme='https', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2021, 2, 1, 0, 5, 5),
original_url=AnyUrl('https://example.com/', scheme='https', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2020, 12, 30, 23, 54, 41),
original_url=AnyUrl('http://example.com/', scheme='http', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2021, 1, 2, 0, 7, 38),
original_url=AnyUrl('http://example.com/', scheme='http', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2019, 12, 31, 23, 45, 1),
original_url=AnyUrl('http://example.com/', scheme='http', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2022, 1, 1, 0, 19, 39),
original_url=AnyUrl('https://example.com/', scheme='https', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2021, 1, 1, 0, 0, 12),
original_url=AnyUrl('http://web.archive.org/screenshot/http://example.com/', scheme='http',
host='web.archive.org', tld='org', host_type='domain',
path='/screenshot/http://example.com/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2021, 1, 1, 0, 0, 12),
original_url=AnyUrl('http://example.com/', scheme='http', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2021, 1, 1, 0, 0, 12),
original_url=AnyUrl('http://example.com/', scheme='http', host='example.com', tld='com',
host_type='domain', path='/'), category=None),
ArchiveLink(timestamp=datetime.datetime(2021, 1, 1, 0, 0, 12),
original_url=AnyUrl('https://www.iana.org/domains/example', scheme='https', host='www.iana.org',
tld='org', host_type='domain', path='/domains/example'), category=None)
]
项目详情
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。
源分布
metaarchive-0.6.1.tar.gz
(23.1 kB
查看哈希)
内置分布
metaarchive-0.6.1-py3-none-any.whl
(40.2 kB
查看哈希)
关
metaarchive -0.6.1.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | ec1e64bde8d8c46dc04fc8fbb62c27b9f91b6bcb200dfd9e7055a9c2800de47e |
|
| MD5 | 7ae6f82f4264e6cb56ffe68e9bf7eb5c |
|
| 布莱克2-256 | 1ff3ba72f0e46a47bda34c92c3d0108e58d29a3ec26c51f82700ee2f8b9c545e |
关
metaarchive -0.6.1-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 3d448d99e98d1a4cef52f8318d47b410bed475a53875df1f3b356f0267606515 |
|
| MD5 | 950c59c343e71a15ee30a55f7bc9f8d3 |
|
| 布莱克2-256 | 0e4495edbb5fd1bad0337021471c558badb46c36f12eeb72852e3a3e1e4dad2f |