ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

AWS Glue任务中使用一个dynamic frame数据过滤另外一个dynamic frame数据

AWS Glue任务中使用一个dynamic frame数据过滤另外一个dynamic frame数据

问题

需要使用其中一个df过滤另外一个df

pyspark

legislators_combined=orgs.join(paths1=["org_id"],paths2=["organization_id"],frame2=persons_memberships).drop_fields(["organization_id"])

orgs和persons_memberships都是dynamic frame。这里使用persons_memberships来筛选orgs的数据,最后一步是删掉不想要的字段。

参考

  • DynamicFrame class
返回列表