GOSINT 实操指南:把开源威胁情报接进你的 IOC 库
【免费下载链接】GOSINTThe GOSINT framework is a project used for collecting, processing, and exporting high quality indicators of compromise (IOCs).项目地址: https://gitcode.com/gh_mirrors/gosi/GOSINT
痛点切入 🔍
当一条钓鱼域名出现在 Twitter,又同时出现在第三方的威胁情报源里,你的第一反应是:把它塞进 SIEM,并确认它确实恶意。可情报源散落各处、格式混乱,一个个手动复制域名和哈希去核验,根本做不完。GOSINT 就是干这件事的开源 OSINT 收集框架:它从 Twitter、CSV 情报源和威胁情报平台定时拉取 IOC(失陷指标),清洗、核验之后,导出成干净的标准化数据。
它到底是什么
GOSINT 面向安全分析师:Go 后端负责拉取和解析,JavaScript 写的 Web 前端负责浏览与审核。README 里对它的定位是"收集并标准化结构化与非结构化威胁情报"。
| 模块 | 做什么 | 为什么有用 |
|---|---|---|
| 数据源采集 | 定时抓取 CSV 源、Twitter 流和 AlienVault OTX,自动识别 IP、URL、域名、哈希 | 不同来源的脏数据进同一条流水线 |
| 预审核 | 提取出的 IOC 进表格,可搜索、编辑、打标签 | 推给下游前先人工筛掉误报 |
| 第三方核验 | 对接 VirusTotal、ThreatCrowd、Umbrella 逐条查询 | 不离开页面就能给指标补上可信度 |
| 编排 | 定时运行 playbook,把已确认的 IOC 推到 CRITs | 让"采集 → 核验 → 输出"这条链路自动转起来 |
| 导出 | 把后处理库的 IOC 一键导出 CSV | 直接喂给 SIEM 或黑名单 |
场景走查
核验可疑域名:从推特帖子到 VirusTotal 查询只要一步
如果你在 Settings 页配好了 Twitter 密钥和关注名单,GOSINT 会从帖子中提取域名、URL 和 IP,存进预审核表。你可以打开预审核页,定位到那条域名,点 VirusTotal 按钮直接拿第三方查询结果。确认恶意就点绿色箭头移入后处理;确认是误报就点橙色 X 删除,记录会留在后端,以后不再重复推给你。
接入 CSV 威胁情报源:配一个 cron,IOC 自动入库
如果某家情报商给你一个每天输出 CSV 的地址,你在 feed 配置里填上地址、解析方式(csv 或 smart)和列号,再给个 cron 周期就行。GOSINT 定时拉取,用 smart 方式时还会从文本里抽出 MD5、SHA1、SHA256 哈希。不用再手动下文件开 Excel 了。
把已确认的指标推给 CRITs:写一个 playbook 自动跑
如果你的团队用 CRITs 管指标,可以在中转站里建一条 playbook:指定源数据、算子和去向。Orka 会每半小时执行一次,把该来源里还没被这条 playbook 处理过的 IOC 自动推给 CRITs,或转入后处理库。
上手与扩展
第一次跑起来,三步:
- 克隆仓库:
git clone https://gitcode.com/gh_mirrors/gosi/GOSINT; - 用 root 跑 bash-install/ 里的
1-install.sh,装好 MongoDB、PHP、Nginx 并建专用gosint账号; - 编译启动 Go 后端,打开 Web 页面,在 Settings 页填第三方 API key 和 feed 列表,等几分钟就有数据进来。
详细步骤见 docs/installation.rst 与 docs/configuration.rst。
怎么加自己的东西:feed 拉取入口在 feeds.go 的ParseSources,目前 switch 里只有 csv 和 smart 两个分支,要接别格式的数据源,就在这里加分支、写自己的解析函数;源的结构参考 structures.go 里的Source结构体。
适合谁 & 边界 ⚠️
| 适合 | 暂不推荐 |
|---|---|
| 需要批量管理 IOC 的安全分析师、情报工程师 | 期望"克隆即能用"的场景——要自备 MongoDB、PHP、Nginx |
| 已有 CRITs / SIEM、想统一情报入口的团队 | 把它当开箱产品——项目年代较早,部分第三方 API(如旧版 Twitter API)需自行确认可用性 |
说白了,GOSINT 是一条流水线,不是一个产品。如果你的痛点是"源多、数据脏、核验靠手动",它能省很多事;如果痛点是"没有任何运维人力",请三思。
一句话收束
想动手的话,先读 docs/use.rst 搞清预审核、后处理、中转站这三段式流程,再在虚拟机上跑一遍安装脚本。遇到问题或想加新的解析器,直接去项目仓库提 Issue。
【免费下载链接】GOSINTThe GOSINT framework is a project used for collecting, processing, and exporting high quality indicators of compromise (IOCs).项目地址: https://gitcode.com/gh_mirrors/gosi/GOSINT
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考