超级情报收集工具库:开源验证和调查工具及使用方法

欢迎来到免费提供的数字工具和方法列表~ 用于我们的信息验证和开源情报研究 #OSINT。工具很重要,它们能让您的智慧得到更充分的发挥。技术是强大的实力,正义的公民力量完全可以取代那些不专业的"媒体"。一起来,挖掘真相!

该列表包括卫星和地图服务、用于验证照片和视频的工具、用于存档超链接的网站等等,以及很多"小邪恶"的技术。名单有点长,但是,后面更精彩!附有一些简短的指南,更详细地突出了这些工具的用法。对于一些比较复杂的工具,我们将在后面的文章中详细介绍其用法。感谢 bellingcat 的伟大发现。

大多数工具非常容易记住,它们的名字就是它们的用途。

我们将尽可能少的推测您可以用这些工具来做什么,为避免限制您的创造力。相信您可以找到它们最佳的使用计划。一切为了正义的目的哦。

-- -- 地图,卫星图像和街景 -- --

针对 人为或自然灾难、战争、救援、大型群体事件(尤其是造成冲突的时候)、杀戮、种族清洗运动、边境动态......等等状况的调查,拿到证据以便追究责任,这些工具非常有用。

Bing Maps:Microsoft 卫星和地图服务。拥有比谷歌更新更快分辨率更高的图像;缺点是检查图像的日期比较难;

converting coordinates:这是一个转换地理坐标的工具;

Copernicus:欧洲航天局的网站以及哥白尼六哨兵卫星的图像。比 Landsat 的分辨率更高。请参阅网站 GISGeography 上有关如何下载和免费图像的说明;

Descartes Labs:一种商业服务,每天从公共和商业图像提供商处收集数据,对记者的调查来说有很好的帮助;

DigitalGlobe:卫星图像供应商。通过 catalogus 预览,非常容易使用的搜索工具;

DualMaps:将 Google 的路线图、鸟瞰图和街景视图结合在一个嵌入式工具中。探照灯一般

EarthExplorer:来自美国地质局。主要提供美国图像。提供对 Landsat 卫星数据以及 NASA 土地数据产品和服务的访问。 USGS 全球可视化查看器(GloVis)提供遥感数据。USGS 档案包含完整且维护良好的 NASA Landsat 数据集。

EOS Landviewer:EOS Landviewer 提供最多 10 张图片的免费服务。更多图像和分析以折扣价提供给记者。联系方式:Artem Seredyuk artem.seredyuk@eosda.com。 EOS 正在开发一项暂时被称为 EOS Media 的服务,该服务将提供免费图像和主要自然灾害分析。

ESA Earth Online:整合欧洲航天局关于温度、农业和冰盖等主题的地球观测数据。

find2places:允许在给定半径内以精确的距离查询两个特定位置的 Google Maps API。用于地理定位照片和视频。这是个脚本,用户界面还不那么好看。关联我们的文章《用于信息验证的基本地理定位工具

Geograph:地理配准图像。

GeoNames:位置名称数据库。多语种的,以及各种不同的拼写。

GeoVisual Search:搜索引擎,允许用户直观地查询图像以获得类似的地理特征。这个笛卡尔实验室的平台建立在 Landsat、国家农业图像计划(NAIP)和 PlanetScope 的卫星图像基础上。这里读到关于如何使用它的说明。

Google Earth Pro:添加 Bing 地图卫星图像图层。优点是有历史图像。

Google Earth Engine:开放式卫星图像和分析框架。实际上,从 NASA,NOAA,USGS 等收集的任何卫星图像都是可用的。可能略有些粗糙,不是高分辨率的商业图像。用 Javascript 学习曲线。

Google Maps:StreetView、美国欧洲许多大城市都可见,以 3D 为蓝本。缺点是没有历史卫星图像,但许多地方都有历史街景图像

HERE WeGo:对于中东事件调查来说,它有比谷歌最近的卫星图像。

Mapchecking:计算所选 Google 地图区域中的人数。单击地图以添加点并绘制区域。集会、群体事件、或者救灾......等等,都适用。

Mapillary:众包街道照片。是对 Google Streetview 的有用补充。不过对于中东地区来说不好用,在叙利亚、伊拉克等国家几乎找不到。

NASA EarthData:WorldView 允许从 NASA 可视化近实时的图像。优势很多,各种卫星和航拍图像; 广泛的搜索标准; 以及其他地图和可视化工具,例如用于火灾事件调查的 FIRMS,等等。可访问十几个 NASA 数据中心和相关的卫星数据产品。美国宇航局地球观测:大气、陆地、海洋、能源、环境等 50 多个数据集。

Old Maps Online:通过世界各地的众多数据库查找旧地图。易于使用,与 DigitalGlobe 目录类似的浏览。

OpenStreetCam:正如其名。

OpenStreetMap:正如其名。

Radiant Earth:非营利组织,帮助全球发展社区发现、探索和分析卫星、无人机和航空图像档案

Resource Watch:一个仍处于测试阶段的非营利平台,提供有关地球资源和公民状态的数百个数据集。由世界资源研究所和其他组织赞助。资源监视数据是免费的,用户可以下载数据。

Sentinel Hub Playground:Sentinel 2 / Landsat 图像的用户友好平台。每 5-10 天更新一次新图像,能够探索各种 GIS 变量,例如 NDVI 或 NDWO。 EO 浏览器有助于延时审查。缺点是一般分辨率低至10m / px。

TerraServer:卫星图像供应商。最高分辨率(0.3m)。预览高分辨率卫星图像要付费。

Wikimapia:与地理位置相关的众包信息。可以在 Google / Bing / OSM 之间切换。大量的 UCG 信息。可能有点滞后,需要在视图搜索后刷新页面。

-- -- 基于地理的搜索 -- --

验证信息真伪、跟踪事件发展

Animaps:创建自定义动画地图。优点是有可用于调查的时间线记录,不过维护的不大好。

Echosec:基于地理的搜索。比如来自社交媒体的信息 Twitter,VKontakte,Foursquare 的查证。缺点是不能查 Facebook、正版 Instagram。

Liveuamap:冲突新闻的互动实时地图。现有各种国家:阿富汗,伊拉克,叙利亚,美国,乌克兰,委内瑞拉等,别的工具挖不到的国家这里可以。

Photo-Map.RU:可以查证带有地理标记的 VKontakte 帖子。和 SnRadar 作用一样。

Twitter:在搜索框中插入 地理编码:[coordinates],[radius-km],例如:geocode:36.222285,43.998233,2km (only works with km, so 500m = 0.5km) 大部分时间能找到你想要的东西。缺点是,定位容易造假,需要结合其他信息以验证。

WarWire:基于地理定位的搜索。验证来自社交媒体如 Twitter, VKontakte, Instagram 的帖子

-- -- 图像、视频和元数据 -- --

眼见不一定为实。信息被造假了吗?真相是什么?

Amnesty YouTube Dataviewer:反转图像(以及视频)搜索,找到精确的上传时间。缺点是搜索包含多个静止图像,而不是每个帧(因此可能有些东西被略掉了)

附:《验证图像和视频内容的指南

Exiftool:读取和操作大量文件类型的元数据。注意:没有 GUI。优点是 Floss、Cross平台,非常容易集成在脚本中。目前只能用于GNU / Linux。

Foca:提取元数据用的。基于 Windows,2017 年开源。缺点是没有本机 linux 支持(需要在 linux 中安装 wine)

FotoForensics:一个图像取证工具。基于 web, 使用简单。缺点是只能公共访问。

GooFile:也是提取元数据的工具,也很方便使用。缺点是在 Kali 以外不能很好地工作。

Image Forensics:基于 Web 的图像取证工具。可以轻松识别伪造或篡改的图像。也是只能公共访问。

InVID:这是一个验证插件,以帮助记者验证图像和视频。上下文数据、元数据、反向搜索(谷歌,Yandex)、图像取证等。

Irfanview:提取元数据的工具。基于 Windows。缺点是不支持 Linux。

Jeffrey's Image Metadata Viewer:在线提取元数据的工具。只需要 Web 浏览器就可以。但也是只能公共访问。

Reveal Image Verification Assistant:提供八个过滤器来检测静止图像的变化。基于 Web 的图像工具。也可在 InVID 验证插件中使用。

reverse image search:在互联网上找到类似的图像。非常容易使用。推荐插件:RevEye

SpiderPig:提取元数据。命令行界面和脚本很棒。但是使用需要一点技术知识

Splunk:也是提取元数据。可以报告等级分析和演示。缺点是设置和部署不太简单。

-- -- 社交媒体 -- --

社交媒体是挖掘真相的金矿。对于不同平台来说工具不同,要找到趁手的挖掘工具需要点研究。

1、对于 Facebook

Graph.tips:自动高级搜索 Facebook 个人资料。

Who posted what?:查找 Facebook 帖子。

IntelTechniques:用于分析 Facebook 个人资料和页面的各种工具。

Facebook livemap:搜来自全世界各地的现场直播

Search Tool:按名称、电子邮件、屏幕名称和电话查找帐户。

StalkScan:每个 Facebook 个人资料的自动高级搜索。

Video Downloader Online:下载 Facebook 视频。

Skopenow:社交媒体调查 -- 姓名、电话、电子邮件、用户名搜索。

2、Instagram

Websta:在特定地点附近的 Instagram 数据库中查找其他位置。使用带有位置 ID 的直接 URL,例如 websta.me/location/116231

StoriesIG:下载 Instagram 消息的工具。

Save Instagram Stories:允许您对已保存的报道进行用户名搜索。

3、LinkedIn

Socilab:可视化和分析您自己的 LinkedIn 网络。

4、Reddit

F5Bot:当 Reddit 上提到某个关键字时,向您发送电子邮件。

5、Snapchat

Snap Map:可搜索的地理标记 Snap 地图。

6、Tumblr

Tumblr Originals:查找每个 Tumblr 的原始帖子,从而排除 reblogs。

7、Twitter

InVID verification plugin:InVID 插件按时间间隔提供 Twitter 高级搜索。允许在没有 API 和时间限制的情况下记录过去的用例。允许在突发新闻后搜索用户定义的时间范围内的内容。在Twitter高级搜索中自动执行日历日期和 Unix 时间戳之间的转换。

Onemilliontweetmap:推文地图每个地点最长 6 个小时,关键字搜索选项。

Treeverse:Chrome 扩展程序,可视化 Twitter 对话。

Tweetreach:找到推文的范围。提供高级搜索运算符,与 Google 高级搜索相同。关于谷歌的运算符我们将来会有专门的文章详细介绍!

Twitter advanced search:查找日期、关键字等等。

Twitter geobased search:地理编码:[coordinates],[radius-km],例如:geocode:36.222285,43.998233,2km

Twlets:在 Excel 工作表中下载任何人的推文,关注者、及点赞的内容。使用方便快捷,还有一个 Chrome 扩展程序。最多可获得 3,200 条推文,关注者和点赞。

quarter tweets:基于地理位置的 Twitter 搜索。

8、YouTube

Amnesty YouTube Dataviewer:反转图像(视频静止)搜索以及精确上传时间。搜索一些静止画面而不是每个帧(因此可能省略了结果)。

Geo Search Tool:根据位置搜索 YouTube 视频。

-- -- 运输信息 -- --

你知道这意味着什么。它们非常有用。当社交网络上人们将名人、政客、军队等相关出行和调遣的消息发布并传播时,你可以查证那些东西究竟是真是假,并且能比其他人更切实地做到对重要信息的跟踪

1、空运

AirNav RadarBox:跟踪航班,包括私人的和军用的喷气式飞机。一个 Windows PC 软件和硬件包,允许在模拟雷达屏幕上看到适当装备的飞机。小型接收器通过 USB 连接到 PC,使用提供的小型天线检测飞机。通过解码来自飞机的 ADS-B 传输,这些飞机以类似于空中交通管制所使用的显示器显示在计算机上。航班号,飞机类型,高度,航向,速度每秒都可见并更新。

ADS-B Exchange Global Radar:跟踪航班,包括一些军用飞机。你懂的。

FlightAware:世界上最大的航班跟踪网站。一家总部位于德克萨斯州休斯顿的全球航空软件和数据服务公司。 该公司运营着一个网站和移动应用程序,可以在美国,加拿大,澳大利亚和新西兰提供私人和商用飞机的免费航班跟踪。

FlightRadar24:这个是最常用的。跟踪(民用)航班。付费版可以返回12个月的档案

PlaneFinder:基于英国的实时航班跟踪服务,能够显示有关航班开销以及全球航班的数据。用户可获得的数据包括:航班号,飞机移动速度,旅行高度和目的地。该服务的几种变体可用作移动应用程序,包括免费,高级 3D 和增强现实版本。 Web 浏览器可以访问航班跟踪地图和数据库。

2、海运

MarineTraffic:一个开放的,以社区为基础的项目,提供有关船舶运动的实时信息以及船舶在港口和港口的当前位置。船舶信息数据库包括,例如,船舶建造地点和船舶尺寸,总吨位和国际海事组织编号的详细信息。用户可以提交其他用户可以评价的船只照片。 基本的 MarineTraffic 服务可免费使用;更多高级功能可供支付。

3、铁路

Trains:欧洲各国铁路网络的完整互动地图。想想"一带一路"......

4、其他

WikiRoutes:公共交通数据库。wiki 应用 -- -- 世界公共交通数据库由人们根据维基媒体的原则编辑。添加您所在城市的路线,该路线会立即显示在网站和移动应用中。

-- -- 日期和时间 -- --

科学方法,判断信息真伪

SunCalc:在给定的一天里在给定的位置显示阳光的移动。细橙色曲线是当前的太阳轨迹,周围的黄色区域是一年中太阳轨迹的变化。点越靠近中心,地平线上方的太阳越高。上面时间滑块上的颜色显示白天的阳光覆盖范围。根据一段视频或多张声称连续的照片,推断发布者的声称是否真实。

Wolfram|Alpha:由 Wolfram Research 公司推出的一款在线自动问答系统。其特色是可以直接向用户返回答案,而不是像传统搜索引擎一样提供一系列可能含有用户所需答案的相关网页。基于 Wolfram 早期旗舰产品 Mathematica,一款囊括了计算机代数、符号和数值计算、可视化和统计功能的计算平台和工具包开发的。其数据来源包括学术网站和出版物、商业网站和公司、科学机构等等,例如中央情报局出版物《世界概况》、康奈尔大学图书馆出版物《All About Birds》、《Chambers Biographical Dictionary》、道琼斯公司、Catalogue of Life、 CrunchBase、百思买 、美国联邦航空管理局、美国地质调查局等......你知道它有多强大。

-- -- 个人,WhoIs,IPs,网站分析 -- --

网络战

Passive DNS:是 DNS 历史信息的一个截片,是 DNS 数据的一种应用方式,简单的 Passive DNS 的例子如下图所示,是域名和 IP 的映射表。Passive DNS 能够回答的问题包括,域名指向哪些地址,域名服务器管理过哪些域名等等。

恶意域名和合法域名的 DNS 行为有着很大的差异,而这种差异能通过 Passive DNS 数据体现出来。恶意域名的特点有很多,如 DNS 记录 TTL 值偏小、IP 池更新快、IP 网段丰富等等。 目前的使用 Passive DNS 比较优秀的工作有 EXPOSURE、Notos 和 FluxBuster 等等。

Censys.io:完整的互联网连接设备知识!Censys 会持续监控 Internet 上每个可访问的服务器和设备,以便您可以实时搜索和分析它们,了解你的网络攻击面,发现新的威胁并评估其全球影响。通过数据驱动安全。

Censys 跟 Shodan 和中国的 ZoomEye 类似,可以搜索世界范围内的联网设备。Shodan 和 ZoomEye 是个人用的比较多的两款。

Censys 与 Shodan 相比是一款免费搜索引擎,当然也有一定的限制(速度和搜索结果),而新改版后的 ZoomEye 对中国的搜索结果做了"处理",几乎没有什么价值了。

DNS History:就是它的名字,收集历史 DNS 信息。免费,简单易用。有时可用性有限。

DNS cyrillic check:检查恶意域名或西里尔域名是否已注册。免费,简单易用。

DNS Trails世界上最大的历史 DNS 数据存储库。该站点包含对大约3万亿条 DNS 记录,30亿条 WHOIS 记录和 4.18 亿个主机名的数据库的访问权限。所有这些都是自 2008 年中期以来每天收集的。可能会为您返回最多的数据。免费,简单易用。

Geo IP Tool:这是给你自己的。检查您自己的 IP,方便检查您的 VPN 是否正常工作