纸聊

 找回密码
 立即注册
搜索
热搜: 活动 交友 discuz
查看: 205|回复: 0

当在与 Redshift 集群所在区域不同的区域

[复制链接]

1

主题

0

回帖

5

积分

新手上路

Rank: 1

积分
5
barikulislam014 发表于 2023-11-13 13:41:49
中创建 S3 存储桶时,很容易发生这种情况。给出的错误消息并不完全是最清晰的,而且可能非常令人困惑。幸运的是,通过添加额外的参数可以轻松避免该错误。 提高 Redshift COPY 性能:消除不必要的查询 默认情况下,Redshift COPY 命令会自动运行两个命令作为 COPY 事务的一部分: “复制分析第 1|2 阶段” “复制分析$temp_table_name” Redshift 运行这些命令来确定正在复制的数据的正确编码,这在表为空时可能很有用。然而,在以下情况下,额外的查询是无用的,应该被消除: 对临时表执行 COPY(即作为 upsert 操作的一部分)。

然而,对于非技术用户来说,Stitch 可能很难学习。 阿卢玛 Alooma 曾经是一款流行的 Redshift ETL 工具,最近被 Google 收购,现在仅支持 BigQuery。 使用 Redshift ETL 做更多事 沙特阿拉伯电报号码数据 情 Amazon Redshift 是首屈一指的数据仓库,可快速释放数据驱动的见解。对于开发人员和架构师来说,最大的问题是“我们如何快速可靠地将所有数据导入 Redshift?” 所有的答案都在上面的指南中。Redshift 学习起来很简单,但掌握起来却很困难。然而,通过一些研究和实践经验,您很快就会拥有一个强大的 ETL 管道。 对于一些公司来说,构建自己的 ETL 管道是有意义的。然而,对于大多数人来说,购买现成的 ETL 管道是对有限时间和资源的最佳利用。 Integrate.io 是重视速度、可靠性和易用性的开发人员和架构师的首选 Redshift ETL 工具。Integrate.io 简单的定价和世界一流的支持使转换成为一个简单的选择。



当表中已有数据时执行 COPY。在 Redshift 中,无法更改现有表的数据编码。即使 COPY 命令确定存在更好的编码样式,如果不进行深复制操作,也不可能修改表的编码。 在下面的示例中,单个 COPY 命令生成 18 个 “分析压缩” 命令和一个 “复制分析” 命令: 使用 intermix.io 进行“复制分析”和“分析压缩” 额外的查询可能会给 Amazon Redshift 上运行的其他查询带来性能问题。例如,它们可能会使 WLM 队列中的槽数量饱和,从而导致所有其他查询都有等待时间。 解决方案是调整 COPY 命令参数以添加“COMPUPDATE OFF”和“STATUPDATE OFF”,这将在 upsert 操作期间禁用这些功能。

回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|小黑屋|纸聊

GMT+8, 2025-5-11 23:19 , Processed in 0.080100 second(s), 23 queries .

Powered by Discuz! X3.4

Copyright © 2001-2023, Tencent Cloud.

快速回复 返回顶部 返回列表