一文熟悉 Presto

Shell

[root@linux121 software]# tar -zvxf presto-server-315.tar.gz -C /opt/servers/

Shell

[root@linux121 presto-server-315]# mkdir -p /file/data/presto

Shell

[root@linux121 presto-server-315]# mkdir etc

Shell

[root@linux121 etc]# vim node.properties

# 环境名称 , 自己任取 . 集群中的所有 Presto 节点必须具有相同的环境名称 .

node.environment=develop

# 支持字母 , 数字 . 对于每个节点 , 这必须是唯一的 . 这个标识符应该在重新启动或升级 Presto 时保持一致

node.id=1

# 指定 presto 的日志和其它数据的存储目录 , 自己创建前面创建好的数据目录

node.data-dir=/file/data/presto

Shell

[root@linux121 etc]# vim jvm.config

# 参考官方给的配置 , 根据自身机器实际内存进行配置

-server

# 最大 jvm 内存

-Xmx15G

-XX:-UseBiasedLocking

# 指定 GC 的策略

-XX:+UseG1GC

-XX:G1HeapRegionSize=32M

-XX:+ExplicitGCInvokesConcurrent

-XX:+ExitOnOutOfMemoryError

-XX:+HeapDumpOnOutOfMemoryError

-XX:ReservedCodeCacheSize=512M

-Djdk.attach.allowAttachSelf=true

-Djdk.nio.maxCachedBufferSize=2000000

Shell

这是针对 coordinator 所在节点的配置信息 ( 针对 worker 所在节点配置信息后面会配置 .):

[root@linux122 etc]# vim config.properties

# 该节点是否作为 coordinator, 如果是 true 就允许该 Presto 实例充当协调器

coordinator=true

# 允许在协调器上调度工作 ( 即配置 worker 节点 ). 为 false 就是不允许 . 对于较大的集群 , 协调器上的处理工作可能会影响查询性能 , 因为机器的资源无法用于调度 , 管理和监视查询执行的关键任务

# 如果需要在协调器所在节点配置 worker 节点改为 true 即可

node-scheduler.include-coordinator=false

# 指定 HTTP 服务器的端口 .Presto 使用 HTTP 进行所有内部和外部通信

http-server.http.port=7788

# 每个查询可以使用的最大分布式内存量。

query.max-memory=12GB

# 查询可在任何一台计算机上使用的最大用户内存量

query.max-memory-per-node=5GB

# 查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器，写入器和网络缓冲区等在执行期间使用的内存。

query.max-total-memory-per-node=6GB

# 该参数默认值时 -Xmx 的 30%. 且这个值加上 query.max-total-memory-per-node 的值不能大于 -Xmx 的值 . 否则无法启动

memory.heap-heaproom-per-node=2GB

#discover-server 是 coordinator 内置的服务 , 负责监听 worker

discovery-server.enabled=true

# 发现服务器的 URI. 因为已经在 Presto 协调器中启用了 discovery, 所以这应该是 Presto 协调器的 URI

discovery.uri=http://linux121:7788

Shell

# 在 etc 目录下创建 catalog 目录

[root@linux121 etc]# mkdir catalog

Shell

# 在 catalog 目录下创建 hive.properties 文件

[root@linux121 catalog]# vim hive.properties

# 代表 hadoop2 代版本 , 并不是单单指 hadoop2.x 的版本 , 而是 hadoop 第二代 . 固定写法

connector.name=hive-hadoop2

# 指定 hive 的 metastore 的地址 (hive 必须启用 metastore)

hive.metastore.uri=thrift://linux123:9083

# 如果 hdfs 是高可用必须增加这个配置 . 如果不是高可用 , 可省略 . 如果 Presto 所在的节点没有安装 Hadoop, 需要从其它 hadoop 节点复制这些文件到 Presto 的节点

hive.config.resources=/opt/servers/hadoop-2.9.2/etc/hadoop/core-site.xml,/opt/servers/hadoop-2.9.2/etc/hadoop/hdfs-site.xml

Shell

# 通过文件名称区分不同的 mysql 数据来源

[root@linux121 catalog]# vim mysql_a.properties

# 配置 Mysql 源 . 这里必须是 mysql

connector.name=mysql

# 指定连接 Mysql 的 url

connection-url=jdbc:mysql://linux123:3306

# 连接 mysql 的主机名

connection-user=root

# 连接 mysql 的密码

connection-password=12345678

Shell

# 通过文件名称区分不同的 mysql 数据来源

[root@linux121 catalog]# vim mysql_b.properties

# 配置 Mysql 源 . 这里必须是 mysql

connector.name=mysql

# 指定连接 Mysql 的 url

connection-url=jdbc:mysql://linux121:3306

# 连接 mysql 的主机名

connection-user=root

# 连接 mysql 的密码

connection-password=123456

Shell

[root@linux121 servers]# rsync-script /opt/servers/presto-server-315/

Shell

[root@linux122 etc]# vim node.properties

node.id=2

[root@linux123 etc]# vim node.properties

node.id=3

Shell

[root@linux122 etc]# vim config.properties

# 该节点是否作为 coordinator, 因为是 worker 节点 , 这里是 false

coordinator=false

# 访问端口 , 可以自己指定

http-server.http.port=7788

# 每个查询可以使用的最大分布式内存量。

query.max-memory=12GB

# 查询可在任何一台计算机上使用的最大用户内存量

query.max-memory-per-node=5GB

# 查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器，写入器和网络缓冲区等在执行期间使用的内存。

query.max-total-memory-per-node=6GB

# 该参数默认值时 -Xmx 的 30%. 且这个值加上 query.max-total-memory-per-node 的值不能大于 -Xmx 的值 . 否则无法启动

memory.heap-heaproom-per-node=2GB

# 指定 discovery-server 的地址 , 这样 worker 才能找到它 . 与上面的端口须一致

discovery.uri=http://linux121:7788

Shell

[root@linux123 etc]# vim config.properties

# 该节点是否作为 coordinator, 如果是 true 就是作为协调器

coordinator=false

# 访问端口 , 可以自己指定

http-server.http.port=7788

# 每个查询可以使用的最大分布式内存量。

query.max-memory=12GB

# 查询可在任何一台计算机上使用的最大用户内存量

query.max-memory-per-node=5GB

# 查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器，写入器和网络缓冲区等在执行期间使用的内存。

query.max-total-memory-per-node=6GB

# 该参数默认值时 -Xmx 的 30%. 且这个值加上 query.max-total-memory-per-node 的值不能大于 -Xmx 的值 . 否则无法启动  

memory.heap-heaproom-per-node=2GB

# 指定 discovery-server 的地址 , 这样 worker 才能找到它 . 与上面的端口须一致

discovery.uri=http://linux121:7788

Shell

[root@linux121 ~]# myssh chown -R presto:presto /file/data/presto/

Shell

[root@linux121 ~]# myssh chown -R presto:presto /opt/servers/presto-server-315/

Shell

[presto@linux121 presto-server-315]$ bin/launcher start

[presto@linux122 presto-server-315]$ bin/launcher start

[presto@linux123 presto-server-315]$ bin/launcher start

Shell

[presto@linux121 presto-server-315]$ jps

14881 PrestoServer

Shell

[presto@linux121 bin]$ mv presto-cli-315-executable.jar presto

Shell

[root@linux121 presto-server-315]# chmod +x presto

Shell

[presto@linux121 presto-server-315]$ ./presto \

–server linux121:7788 \

–catalog hive \( 可选 )

–schema test \( 可选 )

–user xiaobai ( 可选 )

Shell

# 查看所有的数据库

presto:test> show schemas;

# 查看某个库下的所有表

presto:test> show tables;

# 查看一条 sql 查询 (6 亿多条数据比 hive 快很多 )

presto:test> select count(1) from test.test_hive;

_col0   

———–

620756992

Shell

[root@linux121 software]# unzip yanagishima-20.0.zip -d /opt/servers

Shell

[root@linux121 conf]# vim yanagishima.properties

# 可以删除原文件的内容 , 然后重新填入下面的内容

# 指定 jetty 的端口 , 类似 tomcat 的 web 容器的一个组件

jetty.port=8080

# 指定数据源

presto.datasources=presto_test

presto.coordinator.server.presto_test=http://linux121:7788

catalog.presto_test=hive

schema.presto_test=ods

sql.query.engines=presto

Shell

[root@linux121 yanagishima-20.0]# nohup bin/yanagishima-start.sh 1>/dev/null 2>&1 &

Shell

PATH=/opt/servers/jdk-11.0.9/bin/:$PATH

Shell

-DHADOOP_USER_NAME=xiaobai

SQL

–1. 在 hive 的 test 库下车间 presto1 表

create table hive.test.presto1(

“sid” int comment ‘ 学生 id’,

“sname” varchar(50) comment ‘ 学生姓名 ‘,

“cname” varchar(50) comment ‘ 班级名称 ‘,

“total_score” int comment ‘ 考试总分 ‘

)

;

–2. 往表中插入数据

insert into hive.test.presto1 values(1101,’ 孙悟空 ‘,’1 班 ‘,500),(1102,’ 猪八戒 ‘,’1 班 ‘,600),(1103,’ 如来佛祖 ‘,’1 班 ‘,600)

,(1104,’ 观音菩萨 ‘,’2 班 ‘,480),(1105,’ 姜子牙 ‘,’2 班 ‘,500),(1106,’ 李达康 ‘,’2 班 ‘,550)

,(1107,’ 王瞎子 ‘,’3 班 ‘,500),(1108,’ 姜子牙 ‘,’3 班 ‘,500),(1109,’ 凤姐 ‘,’3 班 ‘,550),(1110,’ 张无忌 ‘,’3 班 ‘,480)

;

–3. 查看数据

select * from hive.test.presto1;

–4. 计算出每个班级总分排在前 2 名的学生信息 ( 分数相同就名次并列 . 如果第一名有 2 个并列 , 那么分数第 2 的就排名第 3 了 ). 语法与 hive 一模一样

select

sid

,sname

,cname

,total_score

from

(

select

sid

,sname

,cname

,total_score

,rank() over(partition by cname order by total_score desc) as dn

from hive.test.presto1

)t1

where dn<=2

;

SQL

–1. 创建 hive.test.presto2 表

create table hive.test.presto2(

“user_id” int comment ‘ 用户 id’,

“login_time” varchar(50) comment ‘ 登陆时间 . 精确到秒 ‘

)

;

–2. 往表中插入数据

insert into hive.test.presto2 values(1001,’2020-12-30 12:10:15′),(1001,’2020-12-30 13:10:15′),(1001,’2020-12-31 10:00:00′),(1001,’2021-01-01 15:00:00′)

,(1002,’2020-12-25 12:10:15′),(1002,’2020-12-26 13:10:15′),(1002,’2020-12-27 10:00:00′)

,(1003,’2020-12-25 12:08:50′),(1003,’2020-12-25 13:10:15′),(1003,’2020-12-26 10:00:00′),(1003,’2020-12-26 11:00:00′),(1003,’2020-12-28 18:00:00′)

;

–3. 查询表的数据

select * from hive.test.presto2 order by user_id,login_time;

–4. 求出连续 3 天都有登陆的用户 id( 语法与 hive 有一些区别 )

select

distinct user_id

from

(

select

user_id

,date_add(‘day’,-rn,date(login_date)) as date_diff

from

(

select

user_id

,login_date

,row_number() over(partition by user_id order by login_date) as rn

from

(                         

select

user_id

,format_datetime(cast(login_time as timestamp),’yyyy-MM-dd’) as login_date

from hive.test.presto2

group by user_id,format_datetime(cast(login_time as timestamp),’yyyy-MM-dd’)

)t1

)t2

)t3

group by  user_id,date_diff

having count(user_id)>=3

;