天道酬勤,学无止境

snowflake-stream

如何构建雪花查询以获得这些结果(How to build a Snowflake query to get these results)

问题 查询中的下表 (TMP_RN_TC) 是一个临时表,用于将数据加载到最终表中。 该表必须从 stage-table 中获取数据,临时表数据的输出需要存储在 final table 中。 阶段表将在每次运行中获取 15 天的数据。 但是事实/最终表应该存储第一次运行的所有数据,然后只存储一天的数据会发生变化(其余 14 天的数据将保持不变)。 由于 stage-table 甚至会保存重复数据,因此 temp-table 应该能够删除这些重复数据并仅加载第二次运行当天的数据。 区别没有帮助。 下面是数据和查询: 例如,在 15 天的第一次运行中,我们获得了 30 条记录,但在第二次运行中,stage 在第二次运行后现在获得了 30 条记录,即 60 条记录,但临时表应该只选择 2 条记录因为这只会在第二次运行时发生变化,其余 14 天(28 行)的数据将相同。 这是我要构建的查询: 1 行数据如下所示: { "location": "xyz", "metrics": [ { "name": "traffic_in", "data": [ { "group": { "start": "2020-07-05", "type": "date" }, "index": 0, "next_level": [ {"index": 0, "validity": "complete",

2021-10-30 07:17:58    分类:技术分享    mysql   snowflake-cloud-data-platform   snowflake-task   snowflake-stream

How to build a Snowflake query to get these results

The below table (TMP_RN_TC) in query is a temp table which would be used to load the data into the final table. This table has to get the data from stage-table and the output of temp-table data needs to be stored in final table. Stage table will get data for 15-days in every run. But the fact/final table should store all the data for the first run and then after only one day of data which would be changing (rest 14-days data would remain same). Since stage-table will hold even the duplicate data, temp-table should be able to remove those duplicates and load only data for the day from second

2021-09-28 15:16:11    分类:问答    mysql   snowflake-cloud-data-platform   snowflake-task   snowflake-stream