8wDlpd.png
8wDFp9.png
8wDEOx.png
8wDMfH.png
8wDKte.png

无法重命名 Azure ADLS 中现有表的外部位置

maditya 1月前

9 0

我们有一个包含着陆层、青铜层、白银层表的 ​​ETL 管道。数据作为外部表存储在 Azure ADLS 容器中。管道每天都在运行,数据存储在

我们有一个包含登陆、青铜、白银层表的 ​​ETL 管道。数据作为外部表存储在 Azure ADLS 容器中。管道每天都在运行,数据存储在所需的位置。

但现在我们发现外部位置目录名称不正确,需要重命名,而不会影响日常管道和这些表的下游数据访问。

我找到了一些关于 ALTER EXTERNAL LOCATIONS 等的参考,但是当我尝试进行一些假设时,因为我不确定在重命名 ADLS 容器中的文件夹后是否需要运行此命令,或者应该稍后再执行此操作。

,还收到错误“AnalysisException: /mnt/bronze/user_data 不是 Delta 表”。有人可以解释一下要遵循的步骤,以便可以重命名外部位置,并将其应用于引用旧位置的所有表吗?

我在此提供可重现的代码以供测试。

  1. p6

  2. p7

  3. p8

  4. p9

    p10

  5. p11

    p12

  6. p13

  7. p14

更改表 hive_metastore.user_master.user 设置位置'/mnt/bronze/user_data';

如果我在运行此命令之前尝试重命名 ADLS 容器中的文件夹,那么我们会收到未找到表的错误。

enter image description here

感谢任何帮助,重命名 ADLS 容器/文件夹路径,并重命名现有表的路径外部位置,而不会产生任何影响。

帖子版权声明 1、本帖标题:无法重命名 Azure ADLS 中现有表的外部位置
    本站网址:http://xjnalaquan.com/
2、本网站的资源部分来源于网络,如有侵权,请联系站长进行删除处理。
3、会员发帖仅代表会员个人观点,并不代表本站赞同其观点和对其真实性负责。
4、本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现请向站长举报
5、站长邮箱:yeweds@126.com 除非注明,本帖由maditya在本站《azure》版块原创发布, 转载请注明出处!
最新回复 (0)
  • 在发出 Alter 之前,您是否尝试将 /user 的内容复制到 /user_data?

  • 不,实际数据包含大约 75 个表的一年的数据,所以我们没有尝试,因为不确定正确的程序。谢谢

  • 对于 Delta 表,它将在存储位置中查找 _delta_log 文件夹。因此请使用示例数据尝试一下。

返回
作者最近主题: