Springboot之整合ElasticSearch使用
Springboot之整合ElasticSearch使用
“ 技术分享，不停更。除非老板娘喊我。
引入
先说一起昨天发生的事件。
（来自infoq）据外媒报道，1月22日，美国一家网上赌场集团泄露了超过 1.08 亿笔投注信息，包括客户个人资料，存取款记录、家庭住址、电话号码、电子邮件地址、出生日期、网站用户名、帐户余额、IP 地址、浏览器、操作系统信息、上次登录信息和游戏列表，甚至包含当前投注、获胜、用于交易的银行卡等详细信息。
该服务器被安全研究员 Justin Paine 发现，数据泄露源头竟然是 ElasticSearch 服务器，该服务器没有密码保护，不需要身份验证且很明显信息来源于在线投注门户网站。
近年关于ElasticSearch 的安全事故频发
ElasticSearch 是一个搜索引擎，企业一般用它来改进自有网络内的数据索引和搜索功能，通常会装在内部网络用来处理公司机密信息，信息不会泄露在网上，因为通常处理的是公司内部最敏感的信息。
虽然 ElasticSearch 通常在公司内部运行，但近年因为其未加密而发生的数据泄露事件不在少数：
2017 年，白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测，最终发现因被攻击而删除的数据至少 500 亿条，被删除数据规模至少 450TB。系统显示，互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台，受害总数达 9750 台。其中，美国 4380 台，中国第二为 944 台，其余来自法国、爱尔兰和新加坡等地。此次事件后，1% 的 Elasticsearch 启用了验证插件，另外有 2% 则关闭了 Elasticsearch。
2018 年 11 月份，美国还曾发生一起 ElasticSearch 服务器在没有密码的开放状态下泄露了将近 5700 万美国民众个人信息的事件。当时共泄漏超过 73GB 数据，并且几个数据库被缓存在服务器内存中，其中一个数据库包含的个人信息就达到了 56,934,021 份。
2018 年 12 月份，巴西最大的订阅电视服务之一的 Sky Brasil 在没有密码的情况下将 ElasticSearch 服务器暴露在互联网上，其 3200 万客户数据在网上暴露了很长时间，存储数据包括客户姓名、电子邮件地址、密码、付费电视包数据、客户端 IP 地址、个人地址、付款方式、设备型号等。
回顾几起案例，相似之处在于 ElasticSearch 服务器均在没有密码保护的情况下遭到泄露，因此企业应该对该服务器进行加密，如果不喜欢付费软件，网络中也有很多开源工具可供选择；其次，升级目前所用的 ElasticSearch 版本，较高版本暂时安全性更好；最后，如果选用了与 ElasticSearch 一起使用的集成工具，也需要检查这些工具是否会存在漏洞并做好加密工作。
那为什么不加密呢？我想有一个重要的原因，那还不是人家收费嘛。官方集成的Plugin - Xpack就有安全这一功能。但是！要收费，要收费，要收费。
扯了这么多，那为啥我们还用它啊，因为它好用啊。
02
具体配置
关于安全，或者网关权限，业内有各式各样的曲线救国办法。比如Nginx中配置htpasswd等等，想了解的网上一搜就会有很多。今天，我们来说一个由Spring公司的spring-data-elasticsearch对ES数据的简单集成和使用。所谓，站在巨人的肩膀上用现成的工具，从开发效率上讲，可谓是事半功倍。
使用前提：
- JDK8+
- Springboot 2.1.1.RELEASE
- IDEA
- Mysql5.5+
- lombok
- Greenwich.RELEASE（如果有集成Cloud，建议使用）
1、pom.xml
1 <groupId>com.bboyHan</groupId>
2 <artifactId>demo-project</artifactId>
3 <packaging>pom</packaging>
4 <version>1.0-SNAPSHOT</version>
5
6 <parent>
7 <groupId>org.springframework.boot</groupId>
8 <artifactId>spring-boot-starter-parent</artifactId>
9 <version>2.1.1.RELEASE</version>
10 </parent>
11
12 <dependencyManagement>
13 <dependencies>
14 <dependency>
15 <groupId>org.springframework.cloud</groupId>
16 <artifactId>spring-cloud-dependencies</artifactId>
17 <version>Greenwich.RELEASE</version>
18 <!--<version>Edgware.SR3</version>-->
19 <type>pom</type>
20 <scope>import</scope>
21 </dependency>
22 </dependencies>
23 </dependencyManagement>
24
25 <dependencies>
26 ...
27
28 <!-- 对应es 6.2.2 version-->
29 <dependency>
30 <groupId>org.springframework.data</groupId>
31 <artifactId>spring-data-elasticsearch</artifactId>
32 </dependency>
33 <dependency>
34 <groupId>org.springframework.boot</groupId>
35 <artifactId>spring-boot-starter-web</artifactId>
36 </dependency>
37 ...
38 </dependencies>2、application.yml
1server:
2 port: 8080
3
4spring:
5 profiles:
6 active: dev
7 application:
8 name: @pom.artifactId@
9
10 data:
11 elasticsearch:
12 cluster-name: my-application # 对应es.yml里的cluster.name
13 cluster-nodes: 127.0.0.1:9300
14 repositories:
15 enabled: true
16
17 datasource:
18 url: jdbc:mysql://localhost:3306/bboyhan?characterEncoding=UTF-8&useUnicode=true&useSSL=false
19 username: root
20 password: root
21 type: com.alibaba.druid.pool.DruidDataSource
22 driver-class-name: com.mysql.cj.jdbc.Driver
23补充：
Mysql在升级6之后，Driver有了新的变化，使用的是“com.mysql.cj.jdbc.Driver”，之前的“com.mysql.jdbc.Driver”已经弃用。另外，如果大家使用了JDBC连接Mysql6 com.mysql.cj.jdbc.Driver， 需要指定时区serverTimezone。
1 datasource:
2 url: jdbc:mysql://localhost:3306/bboyHan?serverTimezone=UTC&useSSL=false0
3
写代码
最近工作比较忙，小编代码命名比较随意了，就是传统的MVC，大家凑合看哈。
3、Controller
1@RestController
2public class TestController {
3
4 @Autowired
5 private TestService testService;
6
7 @GetMapping("/test")
8 public Result test() {
9 return testService.test();
10 }
11}4、Service
1/**
2 * @Auther: bboyHan
3 * @Date: 2019/1/23 19:24
4 */
5@Service
6public class TestService {
7
8 @Autowired
9 private TestEsRepo testEsRepo;
10
11 public Result test() {
12 TestEs entity = new TestEs();
13 testEsRepo.save(entity);
14 return Result.success(save);
15 }
16}5、repository
1/**
2 * @Auther: bboyHan
3 * @Date: 2019/1/23 19:20
4 */
5@Repository
6public interface TestEsRepo extends ElasticsearchRepository<TestEs,Long>{
7}6、entity
1import lombok.Data;
2/**
3 * @Auther: bboyHan
4 * @Date: 2019/1/23 19:15
5 * @Description:
6 */
7@Data
8public class TestEs {
9
10 private Long id;
11 private String name;
12 private String money;
13
14}7、启动类
1@SpringBootApplication
2@EnableElasticsearchRepositories
3public class SearchApplication {
4
5 public static void main(String[] args) {
6 SpringApplication.run(SearchApplication.class, args);
7 }
8}到这里就完成了，亲测可行。