|
中创建 S3 存储桶时,很容易发生这种情况。给出的错误消息并不完全是最清晰的,而且可能非常令人困惑。幸运的是,通过添加额外的参数可以轻松避免该错误。 提高 Redshift COPY 性能:消除不必要的查询 默认情况下,Redshift COPY 命令会自动运行两个命令作为 COPY 事务的一部分: “复制分析第 1|2 阶段” “复制分析$temp_table_name” Redshift 运行这些命令来确定正在复制的数据的正确编码,这在表为空时可能很有用。然而,在以下情况下,额外的查询是无用的,应该被消除: 对临时表执行 COPY(即作为 upsert 操作的一部分)。
然而,对于非技术用户来说,Stitch 可能很难学习。 阿卢玛 Alooma 曾经是一款流行的 Redshift ETL 工具,最近被 Google 收购,现在仅支持 BigQuery。 使用 Redshift ETL 做更多事 沙特阿拉伯电报号码数据 情 Amazon Redshift 是首屈一指的数据仓库,可快速释放数据驱动的见解。对于开发人员和架构师来说,最大的问题是“我们如何快速可靠地将所有数据导入 Redshift?” 所有的答案都在上面的指南中。Redshift 学习起来很简单,但掌握起来却很困难。然而,通过一些研究和实践经验,您很快就会拥有一个强大的 ETL 管道。 对于一些公司来说,构建自己的 ETL 管道是有意义的。然而,对于大多数人来说,购买现成的 ETL 管道是对有限时间和资源的最佳利用。 Integrate.io 是重视速度、可靠性和易用性的开发人员和架构师的首选 Redshift ETL 工具。Integrate.io 简单的定价和世界一流的支持使转换成为一个简单的选择。

当表中已有数据时执行 COPY。在 Redshift 中,无法更改现有表的数据编码。即使 COPY 命令确定存在更好的编码样式,如果不进行深复制操作,也不可能修改表的编码。 在下面的示例中,单个 COPY 命令生成 18 个 “分析压缩” 命令和一个 “复制分析” 命令: 使用 intermix.io 进行“复制分析”和“分析压缩” 额外的查询可能会给 Amazon Redshift 上运行的其他查询带来性能问题。例如,它们可能会使 WLM 队列中的槽数量饱和,从而导致所有其他查询都有等待时间。 解决方案是调整 COPY 命令参数以添加“COMPUPDATE OFF”和“STATUPDATE OFF”,这将在 upsert 操作期间禁用这些功能。
|
|
|
|
|
|
|