数据目录数据治理数据血缘后端前端数据工程数据集成【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址https://gitcode.com/GitHub_Trending/da/datahub点击查看免费下载导读DataHub 的metadata-io模块提供了系统信息System Info收集能力能够把 GMS 的全部 Spring 配置属性、环境变量与组件状态暴露给管理员调试使用。然而一旦这些信息被意外公开密码、密钥、Token 等敏感凭据就可能随之泄露。本文围绕 metadata-io/README.md 定义的核心安全守则深入剖析 DataHub 的配置属性显式分类机制——PropertiesCollector的关键词脱敏实现、PropertiesCollectorConfigurationTest强制分类测试、模板通配语法以及受MANAGE_SYSTEM_OPERATIONS_PRIVILEGE保护的 REST 端点让读者掌握“新增配置属性必须显式声明敏感与否”这一强制安全护栏的完整玩法。模块定位DataHub 的核心元数据 I/O 与系统信息收集metadata-io模块承载 DataHub 的元数据读写核心服务其中com.linkedin.metadata.system_info包专门负责系统信息收集与配置属性管理。从模块的目录结构metadata-io/src/main/java/com/linkedin/metadata/system_info可以看到一整套职责清晰的分层PropertiesCollector枚举 Spring 环境中的所有配置属性含环境变量逐条判定是否脱敏SpringComponentsCollector收集 GMS、MAE Consumer、MCE Consumer 的组件运行状态SystemInfoService编排上述收集器提供并行采集、超时与优雅降级SystemInfoController将结果以 REST API 形式暴露给管理员。SystemInfoService的类注释明确写道“该服务暴露了敏感的配置数据访问应被限制为拥有MANAGE_SYSTEM_OPERATIONS_PRIVILEGE的管理员密码、密钥等敏感属性会被自动脱敏”——这正是 SystemInfoService.java 中定义的安全边界。脱敏第一道防线PropertiesCollector 的关键词与白名单机制PropertiesCollectorPropertiesCollector.java是配置属性脱敏的执行者。它通过 Spring 的ConfigurableEnvironment遍历所有EnumerablePropertySource对每个属性键调用isAllowedProperty()判定放行或脱敏。敏感关键词模式SENSITIVE_PATTERNS源码 PropertiesCollector.java#L29-L47 定义了 18 个内置敏感关键词private static final SetString SENSITIVE_PATTERNS Set.of( password, passwd, pwd, pass, secret, key, salt, token, credential, private, auth, api-key, apikey, access-key, accesskey, private-key, privatekey);判定逻辑采用后缀匹配lowerKey::endsWith只要属性键以小写化后的任一敏感关键词结尾该属性即被视为敏感。例如elasticsearch.password、secretService.encryptionKey、postgres.pgQueue.pool.password都会被命中。白名单放行ALLOWED_PATTERNS为避免误伤合法的非敏感配置PropertiesCollector.java#L49-L58 提供了一组正则白名单private static final SetPattern ALLOWED_PATTERNS compilePatterns( Set.of( cache\\.client\\..*, // 所有 cache.client.* 属性 .*\\.(delay|interval|timeout|duration|initial|max|wait).*ms$, // 毫秒类属性 .*\\.limit$, // 以 .limit 结尾 .*\\.max$, // 以 .max 结尾 .*\\.\\w*size$ // 以 .pageSize/.batchSize 等结尾 ));最终判定逻辑isAllowedProperty() 的放行顺序为值是布尔型true/false→ 放行命中ALLOWED_PATTERNS任一正则 → 放行未命中SENSITIVE_PATTERNS后缀 → 放行否则脱敏为***REDACTED***。collect()方法PropertiesCollector.java#L75-L88会统计***REDACTED***属性的数量随SystemPropertiesInfo一并返回让调用方直观了解脱敏覆盖率。第二道防线强制显式分类的配置测试关键词启发式规则无法覆盖所有场景——例如authentication.authenticators[0].configs.signingKey这类带动态下标的键或ingestion.cliVersionMatrix.authToken这类刻意规避关键词的属性。因此 PropertiesCollectorConfigurationTest 以集成测试的形式强制要求每一个配置属性都必须被显式声明为敏感或非敏感任何未声明的属性都会让测试直接失败。四个分类列表测试维护四组显式清单列表语义典型示例SENSITIVE_PROPERTIES精确键名必须脱敏ebean.password、secretService.encryptionKey、elasticsearch.password、ingestion.cliVersionMatrix.authToken、GIT_ASKPASSSENSITIVE_PROPERTY_TEMPLATES含动态段的敏感模板authentication.authenticators[*].configs.signingKey、authentication.tokenService.saltNON_SENSITIVE_PROPERTIES精确键名必须可见数百项 Spring/DataHub 常规配置如kafka.bootstrapServers、featureFlags.*、graphQL.query.depthLimitNON_SENSITIVE_PROPERTY_TEMPLATES含动态段的非敏感模板cache.client.entityClient.entityAspectTTLSeconds.*.*、spring.autoconfigure.exclude[*]其中SENSITIVE_PROPERTIES清单测试文件 L50-L92覆盖了数据库口令、Elasticsearch 安全上下文、密钥服务加密密钥、Embedding 提供商 API Key、CDC Debezium 口令、PgQueue/PgCron 凭据、AWS 访问密钥等类别每个条目都配有注释说明其来源与风险场景。模板语法[*]与*对于含动态部分的键测试使用两种通配符测试文件 L94-L112[*]匹配数字下标如authentication.authenticators[*].type可匹配authentication.authenticators[0].type、authentication.authenticators[15].type*匹配单个属性段不含点号如cache.client.entityClient.entityAspectTTLSeconds.*.*可匹配...corpuser.corpUserKey但不能跨越多个段。templateToRegex()测试文件 L1405-L1410负责把模板编译为正则.→\.[*]→\[\d\]*→[^.]*。专门的testTemplateToRegexConversion测试L1581-L1607验证了通配符的匹配边界例如[abc]不会被误匹配段数不足也不会被匹配。测试的失败条件主测试testAllPropertiesAreExplicitlyClassifiedL1431-L1458按OriginAwareSystemEnvironmentPropertySource区分配置文件属性与系统环境变量并分别处理。对配置文件属性存在四种失败场景属性被脱敏但既不在SENSITIVE_PROPERTIES也不匹配敏感模板说明脱敏靠运气必须显式声明属性未被脱敏但未加入NON_SENSITIVE_PROPERTIES说明可能无意间泄露必须显式声明为安全属性同时出现在敏感与非敏感两个清单中冲突直接fail属性声明为敏感但实际未被脱敏声明与实现不一致。测试末尾还带有健全性断言L1530-L1534敏感与非敏感属性都必须存在防止清单被整体清空。运行测试本地验证与 CI 护栏README 提供了标准测试命令./gradlew :metadata-io:test --tests *.PropertiesCollectorConfigurationTest该测试基于 TestNG SpringBootTest通过PropertySource加载classpath:/application.yaml测试文件 L36-L44并真实实例化PropertiesCollector因此它能捕捉到实际配置文件中新增的每一个属性。README 明确强调这是一条强制性的安全护栏永远不要禁用never disable it。新增配置属性的标准操作流程当开发者向 DataHub 的application.yaml新增配置项时会依次经历两条防线的校验运行时脱敏PropertiesCollector.isAllowedProperty()按关键词后缀与白名单规则自动决定显示或脱敏测试强制分类运行PropertiesCollectorConfigurationTest时未显式分类的属性会触发失败失败信息会明确指引把该属性加入哪个清单。分类决策规则README 原文当不确定时一律按敏感处理“When in doubt, classify as sensitive”。若属性值含口令、密钥、Token 等凭据加入SENSITIVE_PROPERTIES或敏感模板若为纯功能开关、超时、阈值、连接地址等非凭据项加入NON_SENSITIVE_PROPERTIES。对于含动态下标的键如认证器、实体缓存 TTL 列表优先使用模板语法而非逐一枚举精确键。环境变量的特殊策略测试对系统环境变量采取更宽容的策略handleEnvironmentVariablesL1541-L1574——因为各部署环境的环境变量不可预测无法逐一显式声明测试仅统计并打印敏感/可见环境变量的数量与样例如GIT_ASKPASS、PWD、VSCODE_*等被脱敏PATH、JAVA_HOME、HOME等可见实际安全判定仍交给PropertiesCollector的isAllowedProperty()。端点暴露与权限管控收集到的信息通过 SystemInfoController 以四个 REST 端点暴露统一前缀/openapi/v1/system-info端点返回内容GET /openapi/v1/system-infoGMS、MAE Consumer、MCE Consumer 的组件状态GET /openapi/v1/system-info/spring-components仅组件信息GET /openapi/v1/system-info/properties带元数据的完整属性明细含来源、脱敏统计GET /openapi/v1/system-info/properties/simple兼容旧接口的简单键值映射所有端点都强制鉴权checkAuthorization()SystemInfoController.java#L84-L103基于当前认证上下文构建OperationContext校验调用者是否具备PoliciesConfig.MANAGE_SYSTEM_OPERATIONS_PRIVILEGE不具备则返回 403响应统一使用 pretty-printed JSON 便于调试阅读。组件名称与远程拉取键定义在 SystemInfoConstants.javaGMS、MAE Consumer、MCE Consumer。该控制器还有对应的单元测试 SystemInfoControllerTest验证了鉴权与响应链路。总结纵深防御下的配置属性安全DataHub 用“关键词启发式脱敏 强制显式分类测试 端点权限管控”三层机制守护系统信息泄露风险运行时PropertiesCollector基于 18 个敏感关键词后缀与 5 条白名单正则将命中属性替换为***REDACTED***开发期PropertiesCollectorConfigurationTest强制每个配置属性显式进入四类清单之一从源头杜绝“新增属性未被评估”的盲区模板语法让动态键[*]、*也能被精确管控访问期四个 system-info 端点仅对具备MANAGE_SYSTEM_OPERATIONS_PRIVILEGE的管理员开放。对 DataHub 的维护者与二次开发者而言记住一条核心准则即可任何新增配置属性都必须先回答“它敏感吗”再把它写入正确的分类清单并让测试通过——这既是对密钥泄露风险的最后兜底也是 DataHub 配置管理规范性的制度保障。深入阅读 PropertiesCollector.java、PropertiesCollectorConfigurationTest.java 与 SystemInfoController.java即可掌握该机制的完整实现细节。赞分享数据目录数据治理数据血缘后端前端数据工程数据集成【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址https://gitcode.com/GitHub_Trending/da/datahub点击查看免费下载相关推荐gulp-load-plugins如何自动加载Gulp插件提升前端构建效率gulp load plugins如何自动加载Gulp插件提升前端构建效率 你是否厌倦了在每个Gulpfile.js中手动引入数十个Gulp插件 gul开发工具Score Specification配置安全扫描防止敏感信息泄露Score Specification配置安全扫描防止敏感信息泄露 在云原生开发中配置文件往往包含数据库凭证、API密钥等敏感信息。据OWASP报告202云原生DataHub 新增配置属性的安全分类与脱敏指南metadata-service 的 PropertiesCollector 与 system-info API 密钥保护实践DataHub 新增配置属性的安全分类与脱敏指南metadata service 的 PropertiesCollector 与 system info AP数据目录数据治理数据血缘后端前端数据工程数据集成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 DataHub 配置属性安全分类机制：PropertiesCollector 与系统信息端点防泄露实战
数据目录数据治理数据血缘后端前端数据工程数据集成【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址https://gitcode.com/GitHub_Trending/da/datahub点击查看免费下载导读DataHub 的metadata-io模块提供了系统信息System Info收集能力能够把 GMS 的全部 Spring 配置属性、环境变量与组件状态暴露给管理员调试使用。然而一旦这些信息被意外公开密码、密钥、Token 等敏感凭据就可能随之泄露。本文围绕 metadata-io/README.md 定义的核心安全守则深入剖析 DataHub 的配置属性显式分类机制——PropertiesCollector的关键词脱敏实现、PropertiesCollectorConfigurationTest强制分类测试、模板通配语法以及受MANAGE_SYSTEM_OPERATIONS_PRIVILEGE保护的 REST 端点让读者掌握“新增配置属性必须显式声明敏感与否”这一强制安全护栏的完整玩法。模块定位DataHub 的核心元数据 I/O 与系统信息收集metadata-io模块承载 DataHub 的元数据读写核心服务其中com.linkedin.metadata.system_info包专门负责系统信息收集与配置属性管理。从模块的目录结构metadata-io/src/main/java/com/linkedin/metadata/system_info可以看到一整套职责清晰的分层PropertiesCollector枚举 Spring 环境中的所有配置属性含环境变量逐条判定是否脱敏SpringComponentsCollector收集 GMS、MAE Consumer、MCE Consumer 的组件运行状态SystemInfoService编排上述收集器提供并行采集、超时与优雅降级SystemInfoController将结果以 REST API 形式暴露给管理员。SystemInfoService的类注释明确写道“该服务暴露了敏感的配置数据访问应被限制为拥有MANAGE_SYSTEM_OPERATIONS_PRIVILEGE的管理员密码、密钥等敏感属性会被自动脱敏”——这正是 SystemInfoService.java 中定义的安全边界。脱敏第一道防线PropertiesCollector 的关键词与白名单机制PropertiesCollectorPropertiesCollector.java是配置属性脱敏的执行者。它通过 Spring 的ConfigurableEnvironment遍历所有EnumerablePropertySource对每个属性键调用isAllowedProperty()判定放行或脱敏。敏感关键词模式SENSITIVE_PATTERNS源码 PropertiesCollector.java#L29-L47 定义了 18 个内置敏感关键词private static final SetString SENSITIVE_PATTERNS Set.of( password, passwd, pwd, pass, secret, key, salt, token, credential, private, auth, api-key, apikey, access-key, accesskey, private-key, privatekey);判定逻辑采用后缀匹配lowerKey::endsWith只要属性键以小写化后的任一敏感关键词结尾该属性即被视为敏感。例如elasticsearch.password、secretService.encryptionKey、postgres.pgQueue.pool.password都会被命中。白名单放行ALLOWED_PATTERNS为避免误伤合法的非敏感配置PropertiesCollector.java#L49-L58 提供了一组正则白名单private static final SetPattern ALLOWED_PATTERNS compilePatterns( Set.of( cache\\.client\\..*, // 所有 cache.client.* 属性 .*\\.(delay|interval|timeout|duration|initial|max|wait).*ms$, // 毫秒类属性 .*\\.limit$, // 以 .limit 结尾 .*\\.max$, // 以 .max 结尾 .*\\.\\w*size$ // 以 .pageSize/.batchSize 等结尾 ));最终判定逻辑isAllowedProperty() 的放行顺序为值是布尔型true/false→ 放行命中ALLOWED_PATTERNS任一正则 → 放行未命中SENSITIVE_PATTERNS后缀 → 放行否则脱敏为***REDACTED***。collect()方法PropertiesCollector.java#L75-L88会统计***REDACTED***属性的数量随SystemPropertiesInfo一并返回让调用方直观了解脱敏覆盖率。第二道防线强制显式分类的配置测试关键词启发式规则无法覆盖所有场景——例如authentication.authenticators[0].configs.signingKey这类带动态下标的键或ingestion.cliVersionMatrix.authToken这类刻意规避关键词的属性。因此 PropertiesCollectorConfigurationTest 以集成测试的形式强制要求每一个配置属性都必须被显式声明为敏感或非敏感任何未声明的属性都会让测试直接失败。四个分类列表测试维护四组显式清单列表语义典型示例SENSITIVE_PROPERTIES精确键名必须脱敏ebean.password、secretService.encryptionKey、elasticsearch.password、ingestion.cliVersionMatrix.authToken、GIT_ASKPASSSENSITIVE_PROPERTY_TEMPLATES含动态段的敏感模板authentication.authenticators[*].configs.signingKey、authentication.tokenService.saltNON_SENSITIVE_PROPERTIES精确键名必须可见数百项 Spring/DataHub 常规配置如kafka.bootstrapServers、featureFlags.*、graphQL.query.depthLimitNON_SENSITIVE_PROPERTY_TEMPLATES含动态段的非敏感模板cache.client.entityClient.entityAspectTTLSeconds.*.*、spring.autoconfigure.exclude[*]其中SENSITIVE_PROPERTIES清单测试文件 L50-L92覆盖了数据库口令、Elasticsearch 安全上下文、密钥服务加密密钥、Embedding 提供商 API Key、CDC Debezium 口令、PgQueue/PgCron 凭据、AWS 访问密钥等类别每个条目都配有注释说明其来源与风险场景。模板语法[*]与*对于含动态部分的键测试使用两种通配符测试文件 L94-L112[*]匹配数字下标如authentication.authenticators[*].type可匹配authentication.authenticators[0].type、authentication.authenticators[15].type*匹配单个属性段不含点号如cache.client.entityClient.entityAspectTTLSeconds.*.*可匹配...corpuser.corpUserKey但不能跨越多个段。templateToRegex()测试文件 L1405-L1410负责把模板编译为正则.→\.[*]→\[\d\]*→[^.]*。专门的testTemplateToRegexConversion测试L1581-L1607验证了通配符的匹配边界例如[abc]不会被误匹配段数不足也不会被匹配。测试的失败条件主测试testAllPropertiesAreExplicitlyClassifiedL1431-L1458按OriginAwareSystemEnvironmentPropertySource区分配置文件属性与系统环境变量并分别处理。对配置文件属性存在四种失败场景属性被脱敏但既不在SENSITIVE_PROPERTIES也不匹配敏感模板说明脱敏靠运气必须显式声明属性未被脱敏但未加入NON_SENSITIVE_PROPERTIES说明可能无意间泄露必须显式声明为安全属性同时出现在敏感与非敏感两个清单中冲突直接fail属性声明为敏感但实际未被脱敏声明与实现不一致。测试末尾还带有健全性断言L1530-L1534敏感与非敏感属性都必须存在防止清单被整体清空。运行测试本地验证与 CI 护栏README 提供了标准测试命令./gradlew :metadata-io:test --tests *.PropertiesCollectorConfigurationTest该测试基于 TestNG SpringBootTest通过PropertySource加载classpath:/application.yaml测试文件 L36-L44并真实实例化PropertiesCollector因此它能捕捉到实际配置文件中新增的每一个属性。README 明确强调这是一条强制性的安全护栏永远不要禁用never disable it。新增配置属性的标准操作流程当开发者向 DataHub 的application.yaml新增配置项时会依次经历两条防线的校验运行时脱敏PropertiesCollector.isAllowedProperty()按关键词后缀与白名单规则自动决定显示或脱敏测试强制分类运行PropertiesCollectorConfigurationTest时未显式分类的属性会触发失败失败信息会明确指引把该属性加入哪个清单。分类决策规则README 原文当不确定时一律按敏感处理“When in doubt, classify as sensitive”。若属性值含口令、密钥、Token 等凭据加入SENSITIVE_PROPERTIES或敏感模板若为纯功能开关、超时、阈值、连接地址等非凭据项加入NON_SENSITIVE_PROPERTIES。对于含动态下标的键如认证器、实体缓存 TTL 列表优先使用模板语法而非逐一枚举精确键。环境变量的特殊策略测试对系统环境变量采取更宽容的策略handleEnvironmentVariablesL1541-L1574——因为各部署环境的环境变量不可预测无法逐一显式声明测试仅统计并打印敏感/可见环境变量的数量与样例如GIT_ASKPASS、PWD、VSCODE_*等被脱敏PATH、JAVA_HOME、HOME等可见实际安全判定仍交给PropertiesCollector的isAllowedProperty()。端点暴露与权限管控收集到的信息通过 SystemInfoController 以四个 REST 端点暴露统一前缀/openapi/v1/system-info端点返回内容GET /openapi/v1/system-infoGMS、MAE Consumer、MCE Consumer 的组件状态GET /openapi/v1/system-info/spring-components仅组件信息GET /openapi/v1/system-info/properties带元数据的完整属性明细含来源、脱敏统计GET /openapi/v1/system-info/properties/simple兼容旧接口的简单键值映射所有端点都强制鉴权checkAuthorization()SystemInfoController.java#L84-L103基于当前认证上下文构建OperationContext校验调用者是否具备PoliciesConfig.MANAGE_SYSTEM_OPERATIONS_PRIVILEGE不具备则返回 403响应统一使用 pretty-printed JSON 便于调试阅读。组件名称与远程拉取键定义在 SystemInfoConstants.javaGMS、MAE Consumer、MCE Consumer。该控制器还有对应的单元测试 SystemInfoControllerTest验证了鉴权与响应链路。总结纵深防御下的配置属性安全DataHub 用“关键词启发式脱敏 强制显式分类测试 端点权限管控”三层机制守护系统信息泄露风险运行时PropertiesCollector基于 18 个敏感关键词后缀与 5 条白名单正则将命中属性替换为***REDACTED***开发期PropertiesCollectorConfigurationTest强制每个配置属性显式进入四类清单之一从源头杜绝“新增属性未被评估”的盲区模板语法让动态键[*]、*也能被精确管控访问期四个 system-info 端点仅对具备MANAGE_SYSTEM_OPERATIONS_PRIVILEGE的管理员开放。对 DataHub 的维护者与二次开发者而言记住一条核心准则即可任何新增配置属性都必须先回答“它敏感吗”再把它写入正确的分类清单并让测试通过——这既是对密钥泄露风险的最后兜底也是 DataHub 配置管理规范性的制度保障。深入阅读 PropertiesCollector.java、PropertiesCollectorConfigurationTest.java 与 SystemInfoController.java即可掌握该机制的完整实现细节。赞分享数据目录数据治理数据血缘后端前端数据工程数据集成【免费下载链接】datahubThe Context Platform for your Data and AI Stack项目地址https://gitcode.com/GitHub_Trending/da/datahub点击查看免费下载相关推荐gulp-load-plugins如何自动加载Gulp插件提升前端构建效率gulp load plugins如何自动加载Gulp插件提升前端构建效率 你是否厌倦了在每个Gulpfile.js中手动引入数十个Gulp插件 gul开发工具Score Specification配置安全扫描防止敏感信息泄露Score Specification配置安全扫描防止敏感信息泄露 在云原生开发中配置文件往往包含数据库凭证、API密钥等敏感信息。据OWASP报告202云原生DataHub 新增配置属性的安全分类与脱敏指南metadata-service 的 PropertiesCollector 与 system-info API 密钥保护实践DataHub 新增配置属性的安全分类与脱敏指南metadata service 的 PropertiesCollector 与 system info AP数据目录数据治理数据血缘后端前端数据工程数据集成创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考