该帖子由HawkEye 360的Ian Avilez和Tim Pavlick共同撰写。
HawkEye 360是商业射频(RF)卫星星座数据分析提供商。 我们感兴趣的信号包括超高频(VHF)一键通无线电,海事雷达系统,AIS信标,卫星移动通信等等。 我们的Mission Space产品于2021年XNUMX月发布,使任务分析人员可以直观地可视化RF信号和分析,从而使他们能够确定活动并了解趋势。 此功能提高了任务分析人员的海上态势意识,使他们能够识别和表征邪恶行为,例如非法捕鱼或船对船的非法货物转移。
以下屏幕截图显示了HawkEye 360的Mission Space体验。
RF数据无需过滤和高级算法即可解析和表征大量原始数据,而肉眼无法承受。 HawkEye 360与 亚马逊机器学习解决方案实验室 在我们的分析中建立机器学习(ML)功能。 在Amazon ML解决方案实验室的指导下,我们使用了 亚马逊SageMaker自动驾驶仪 快速生成用于船舶风险评估的高质量AI模型,保持对模型创建的完全可见性和控制力,并提供在生产环境中轻松部署和监视模型的能力。
船只特征之间的隐藏模式和关系
远洋轮船的特征在于与轮船本身,其操作和管理以及其历史行为有关的几个特征。 尚不清楚立即知道哪些特征指示可疑船只。 HawkEye 360的任务之一是发现隐藏的图案,并自动提醒分析人员异常的海上活动。 Hawkeye 360通过使用一组变量以及专有的RF地理分析来完成此警报区域。 这些努力的重点是确定哪些船只更可能从事可疑的海上活动,例如非法捕鱼或船对船的非法货物转移。 机器学习算法揭示了隐藏的模式(如果存在的话),否则它们将在浩瀚的复杂性中丢失。
下图演示了一些内置在Mission Space中的现有模式查找行为。 任务空间会自动识别可疑船只的其他实例。 识别最可预测可疑行为的关键功能,可以轻松地在任务空间中显示这些功能。 这使用户能够了解不良角色之间的联系,否则这些联系就永远不会被看到。 任务空间的设计目的是指出与任务分析人员的这些联系。
海上船舶异常行为检测面临的挑战
HawkEye 360的数据湖包含大量船只信息,历史记录和分析变量。 利用如此广泛的RF数据和分析,必须解决一些自然数据处理问题。 船只的零星报告会导致数据集中缺少值。 必须考虑数据类型之间的差异。 以前,数据探索和基线建模通常需要s 占用了分析师大量时间数据准备好后,将进行一系列自动实验以缩小到一组最有希望的AI模型,并从那里逐步进行选择,以选择最适合数据和研究问题的模型。 对于HawkEye 360,这种自动探索对于确定哪些功能和功能组合对于预测船只进行可疑行为的可能性至关重要。
我们使用自动驾驶仪通过快速识别数据的哪些特征可用于预测可疑行为来加快此过程。 数据探索和分析的自动化使我们的数据科学家能够花费更少的时间来整理数据和手动设计特征,并加快了识别最可预测船只行为的船只特征的能力。
我们如何使用Autopilot快速生成高质量的ML模型
作为自动驾驶工作的一部分,可以快速生成多个候选模型,以通过单个API调用进行评估。 自动驾驶仪检查了数据并评估了几种模型,以确定预处理方法,机器学习算法和超参数的最佳组合。 这大大缩短了模型探索的时间范围,使我们能够快速测试ML是否适合我们的独特假设。
以下代码显示了我们的设置和API调用:
自动驾驶仪工作流程
自动驾驶仪作业包括以下操作:
- 将数据分为训练集和验证集
- 分析数据以推荐候选配置
- 执行特征工程以生成适合该算法的最佳变换特征
- 调整超参数以生成模型的排行榜
- 根据给定的评估指标显示最佳候选模型
在我们训练了几种模型之后,Autopilot会根据给定的度量标准对经过训练的候选人进行货架和堆叠(请参阅以下代码)。 对于此应用程序,我们使用了F1评分,该评分在准确性和查全率上均获得了均等的权重。 当类不平衡时,这是一个重要的考虑因素,它们在此数据集中。
以下代码显示了我们的输出:
现在,我们可以根据最佳候选人创建模型,然后将其快速部署到生产中:
以下代码显示了我们的输出:
保持全面的可见性和控制力
生成模型的过程是完全透明的。 对于自动驾驶仪创建的任何模型,都会生成两个笔记本:
- 数据探索笔记本 –描述您的数据集以及自动驾驶仪对您的数据集学到的知识
- 型号候选笔记本 –列出使用的数据转换以及由特征转换器与主估计器组成的候选模型构建管道
结论
我们使用自动驾驶仪快速生成许多候选模型,以确定机器学习的可行性,并根据船舶数据确定机器学习的性能。 Autopilot的自动化功能使我们的数据科学家通过自动化诸如数据分析,特征工程,模型开发和模型部署之类的手动任务,可以将开发ML功能的时间减少50%以上。
借助HawkEye 360的新型RF数据分析应用程序Mission Space,可以识别出哪些船只可能从事可疑活动,从而使用户可以轻松地知道在哪里集中他们稀少的注意力并进行进一步调查。 加快数据理解和模型创建的速度,可以将前沿见解迅速吸收到Mission Space中,从而加速了Mission Space功能的演进,如下图所示。 我们可以看到,任务分析师识别了一个特定的集合点(以洋红色突出显示),任务空间自动识别了其他相关的集合点(以紫色显示)。
有关HawkEye 360的Mission Space产品的更多信息,请参见 密森太空.
如果您需要协助以加快在产品和服务中使用ML,请与 亚马逊机器学习解决方案实验室.
作者简介
蒂姆·帕夫里克(Tim Pavlick)博士是HawkEye 360产品副总裁。他负责所有HawkEye空间创新的概念,创建和产品化。 Mission Space是HawkEye 360的旗舰产品,它将HawkEye产品组合中的所有数据和分析整合到一种直观的RF体验中。 Pavlick博士的先前发明贡献包括Myca,IBM的AI Career Coach,针对退伍军人的Grit PTSD监视器,IBM国防运营平台,Smarter Planet智能运营中心,人工智能在互联网上检测危险仇恨言论以及STORES电子食品订购系统美军。 Pavlick博士在马里兰大学公园大学获得认知心理学博士学位。
伊恩·阿维雷斯(Ian Avilez) 是HawkEye 360的数据科学家。他与客户合作,重点介绍可以通过组合不同的数据集并以各种方式查看这些数据而获得的见解。
丹·福特 是Amazon ML解决方案实验室的数据科学家,他在这里帮助AWS National Security客户构建最先进的ML解决方案。
高拉夫·雷尔(Gaurav Rele) 是Amazon ML解决方案实验室的数据科学家,他在这里与来自不同行业的AWS客户合作,以加快他们对机器学习和AWS Cloud服务的使用,以解决他们的业务挑战。
- 账号管理
- AI
- 算法
- Amazon
- 亚马逊SageMaker
- 其中
- 分析
- 分析人士
- 分析
- API
- 应用领域
- 自动化
- 自动化
- 自动驾驶仪
- AWS
- 底线
- 最佳
- 建立
- 建筑物
- 商业
- 呼叫
- 寻找工作
- 云端技术
- 云服务
- 码
- 认知
- 学院
- 商业的
- 连接
- 合作伙伴
- data
- 数据分析
- 数据分析
- 数据湖
- 数据科学家
- 国防
- 检测
- 研发支持
- 工程师
- 环境
- 进化
- 勘探
- 眼
- 时尚
- 专栏
- 特征
- 专注焦点
- 食品
- ,
- 货
- 处理
- 仇恨言论
- 高
- 近期亮点
- 突出
- 历史
- 创新中心
- HTTPS
- IBM
- 鉴定
- 不法
- 图片
- 指数
- 信息
- 可行的洞见
- 兴趣
- 网络
- 调查
- 问题
- 工作
- 键
- 大
- 知道
- 学习
- 清单
- 书单
- 机器学习
- 颠覆性技术
- 地图
- 海上
- 马里兰州
- 军工
- 使命
- ML
- ML算法
- 联络号码
- 模型
- 造型
- 国家安全
- 笔记本电脑
- 提供
- 运营
- 其他名称
- 模式
- 性能
- 行星
- 平台
- 个人档案
- 平台精度
- 产品
- 生产
- 热销产品
- 心理学
- 雷达
- 广播电台
- 原
- 原始数据
- 关系
- 研究
- 成果
- 风险
- 风险评估
- 运行
- sagemaker
- 卫星
- 卫星星座
- 科学家
- SEA
- 保安
- 系列
- 特色服务
- 集
- 睡觉
- 解决方案
- 解决
- 太空
- 花
- 商店
- 系统
- 产品
- test
- 次
- 趋势
- 大学
- 马里兰大学
- us
- 用户
- 折扣值
- 退伍军人
- 能见度
- 体积
- 合作