百色金融新闻网
您的位置:百色金融新闻网 > 经济新闻 > 精通日志查询:如何翻页获取日志和计算结果-如何查询

精通日志查询:如何翻页获取日志和计算结果-如何查询

作者:百色金融新闻网日期:

返回目录:经济新闻

最新资讯《精通日志查询:如何翻页获取日志和计算结果-如何查询》主要内容是如何查询,摘要:精通日志查询:如何翻页获取日志和计算结果日志服务提供一站式的日志采集、存储、查询、计算功能。交互式的日志采集体验,释放用户的运维压力,解放用户的双手。,现在请大家看具体新闻资讯。

摘要: 精通日志查询: 如何翻页获取日志和计算结果 日志服务提供一站式的日志采集、存储、查询、计算功能。交互式的日志采集体验,释放用户的运维压力,解放用户的双手; 交互式的查询分析体验,让用户自由的构建数据模型、探索式分析挖掘数据深层。

精通日志查询: 如何翻页获取日志和计算结果

日志服务提供一站式的日志采集、存储、查询、计算功能。交互式的日志采集体验,释放用户的运维压力,解放用户的双手; 交互式的查询分析体验,让用户自由的构建数据模型、探索式分析挖掘数据深层。

精通日志查询:如何翻页获取日志和计算结果

用户使用日志服务的查询分析能力,不仅可以在控制台交互式查询,也可以使用SDK,在程序中使用查询分析。 当计算结果比较大时,怎么把全量结果读取到本地,是一个比较比较头疼的问题。幸好,日志服务提供了翻页的功能,不仅可以翻页读取原始日志内容,也可以把SQL的计算结果翻页读取到本地。开发者可以通过日志服务提供的SDK,或者Cli,通过读数据接口翻页读取日志。

查询和分析使用不同的分页方式

精通日志查询:如何翻页获取日志和计算结果

日志服务提供一个统一的查询日志入口:GetLogstoreLogs,既可以根据关键字查询日志原始内容,也可以提交SQL计算,获取计算结果。

  • 使用关键字查询,获取原始内容,可以通过API中的offset和lines参数来翻页获取所有内容。
  • 使用SQL计算,获取SQL的计算结果,使用SQL的limit语法来达到翻页的目的。

查询翻页使用案例

在GetLogStoreLogs api中,包含offset和lines两个参数

  • offset : 用于指定从第一行开始读取日志
  • lines : 用于指定当前的请求读取多少行,该参数最大100行,如果设置该参数大于100行,则仍然返回100行。

在翻页读取时,不停的增大offset,知道读取到某个offset后,获取的结果行数为0,并且结果的progress为complete状态,则认为读取到了全部数据,可以结束了。

翻页代码样例

翻页的伪代码:

精通日志查询:如何翻页获取日志和计算结果

python 翻页读取样例

更详细案例参考文档:

精通日志查询:如何翻页获取日志和计算结果

Java 翻页读取样例

更详细的案例参考文档

精通日志查询:如何翻页获取日志和计算结果

SQL分析结果翻页读取

在SQL分析中,GetLogStoreLogs API 参数中的offset 和lines是无效的,填写。也就是说,如果按照上文翻页读取原始内容的方式,遍历offset翻页,那么每次SQL执行的结果都是一样的。理论上,我们可以在一次调用中,获取全部的计算结果,但是如果结果集太大,可能会产生以下问题:

  • 网络上传输大量数据延时比较高。
  • 客户端的内存要保存大量的结果,供进一步处理。

为了解决SQL翻页的问题,我们提供了标准SQL的limit翻页语法

精通日志查询:如何翻页获取日志和计算结果

  • Offset表示从第几行开始读取结果
  • Line表示读取多少行,Line没有大小限制;但是如果一次读取太多,会影响网络延时和客户端的处理。

一个典型案例,假如以下SQL共产生2000条日志

精通日志查询:如何翻页获取日志和计算结果

那么可以翻页,每次读取500行,共4次读取完成:

精通日志查询:如何翻页获取日志和计算结果

SQL翻页样例

在程序中,SQL翻页的伪代码这样写:

精通日志查询:如何翻页获取日志和计算结果

Python程序样例:

精通日志查询:如何翻页获取日志和计算结果

Java程序样例:

精通日志查询:如何翻页获取日志和计算结果

延伸资料

日志服务用户手册,最完整的资料

日志服分析Demo,Nginx日志、CDN日志、DDOS日志、SLB日志Demo,grafana、Datav大屏Demo

5分钟搭建网站实时分析:Grafana+日志服务实战

作者:云雷

相关阅读

关键词不能为空

经济新闻_金融新闻_财经要闻_理财投资_理财保险_百色金融新闻网