画书签elasticarch大数据量写入调优和原理解析
1.写入调优
(1)开启_bulk接口
将数据分批量的形式以_bulk接口导入,这种方式可以减少HTTP请求开销,加快写入速度。
柬埔寨是什么国家(2)设置bulk大小屎瓜
在设置_bulk接口请求时,可以根据实际情况更改bulk大小,这可以进一步提高写入速度。
挪威在哪里
(3)使用缓冲池
建议开启一个缓冲池,将待写入的数据先放入缓冲池,最后一次性提交给elasticarch,可以极大的降低磁盘IO开销。
夏侯惇夏侯渊(4)避免重复写入
针对相同文档,由于elasticarch默认情况下,会重复写入,因此检查是否有文档重复写入
国家名称是很有必要的。
(5)负载均衡过三闾庙
搭建多个服务器,将数据按照哈希规则均衡分发到不同机器上,可以将负载均衡,同时也可以提高数据写入速度。
2.原理解析
跳绳教程
Elasticarch是一个分布式的搜索引擎,它的写入是分布式地完成的。Elasticarch分为两个步骤,一个是将数据写入索引,另一个是将数据以分片的形式写入到指定的节点上。首先,根据数据分片策略,将数据均衡的写入到不同的节点上,然后将这些数据放入对应的分片中,最后将这些分片提交给它的主节点。当客户端发起搜索请求时,主节点会去本地分片中搜索数据,节点间也会进行分片的复制,以保证数据的恢复性。