- 综合排序
- 最热优先
- 最新优先
- 来自专栏Web行业观察
你所不知道的ndJSON：序列化与管道流
图二则是一种称为ndJSON的格式，由换行符（0x0A）分隔每个json对象，最外面也没有闭合字符对。ndjson的mime类型是application/x-ndjson。 这个区别是json和ndjson的本质区别。 NDJSON（ndjson.org） ? ndjson（New-line Delimited JSON）是一个比较新的标准，本身超简单，就是一个.ndjson文件中，每行都是一个传统json对象，当然每个json对象中要去掉原本用于格式化的换行符 最后总结一下ndjson对json的性能提升：ndjson使整个文件“流化”，或者说把整个文件分割成许多份，这样避免了整体的束缚，支持局部处理，变得更灵活更快，从而实现了序列化和流传输的同时进行。 / https://github.com/ndjson/ndjson-spec
9.8K51发布于 2019-09-16 - 来自专栏机器之心
资源 | 谷歌发布Quick Draw涂鸦数据集：5000万张矢量图，345个类别
原始的审核过的数据集 原始数据在 ndjson 文件中，并按类别进行了分割，按照如下格式： ? 简化图文件（.ndjson） 我们对这些矢量图进行了简化，移除了时间信息，并且对数据进行了定位和缩放处理，得到了大小 256×256 的图像。 该数据以 ndjson 的格式导出，带有与原始格式一样的元数据。简化过程如下： 1. 将绘画对齐到左上角，最小值为 0； 2. 均匀缩放绘画，最大值为 255； 3. 获取数据 该数据集在谷歌云存储服务中，在 ndjson 文件中分类存储。 数据集分类 Raw files (.ndjson) Simplified drawings files (.ndjson) Binary files (.bin) Numpy bitmap files
2.2K120发布于 2018-05-07 - 来自专栏iOSDevLog
quickdraw_datasetQuick Draw！数据集
内容 原始仲裁数据集 预处理数据集 获取数据 使用数据集的项目 更改 许可证 原始主持数据集 原始数据以ndjson文件的形式分类，按类别分隔，格式如下： 钥匙 输入 说明 key_id 64位无符号整数 简化的图形文件(.ndjson) 我们简化了向量，删除了时序信息，并将数据定位并缩放到256x256区域。数据以ndjson格式导出，其格式与原始格式相同。 此外，[examples / nodejs / ndjson.md](examples / nodejs / ndjson.md)文档详细介绍了一组命令行工具，可以帮助探索这些相当大的文件的子集。 获取数据 该数据集在Google Cloud Storage上以ndjson文件的形式分类。 按类别分隔的完整数据集 原始文件(.ndjson) 简化的图纸文件(.ndjson) 二进制文件(.bin) Numpy位图文件(.npy) Sketch-RNN QuickDraw数据集 该数据还用于训练
3.4K20发布于 2018-08-10 - 来自专栏大数据生态
Elasticsearch 搜索实战 | 不可能完成的任务？Kibana 6.2.4 到 8.16.1 跨三个大版本的元数据迁移实战
从源码中可以看到，Kibana使用NDJSON（NewlineDelimitedJSON）格式来导出对象：//导出时的内容类型'Content-Type':'application/ndjson''Content-Disposition ':'attachment;filename="export.ndjson"'NDJSON格式本身没变，但问题在于对象的内部结构变了。 visualization','index-pattern'],includeReferencesDeep:true,//包含所有引用excludeExportDetails:false,});//保存为NDJSON 文件exportStream.pipe(fs.createWriteStream('export.ndjson'));}//2.导入对象（在8.16.1上执行）asyncfunctionimportObjects savedObjectsClient,typeRegistry,importSizeLimit:10000,logger,});constreadStream=fs.createReadStream('export.ndjson
77543编辑于 2026-02-02 - 来自专栏菲宇
【Kibana6.3.0】Kibana6入门小白教程之下载安装与数据准备
- 而且这一句-H "Content-Type: application/x-ndjson"是必须要有的 curl -H "Content-Type: application/x-ndjson" -XPOST pretty" --data-binary @shakespeare_6.0.json curl -H "Content-Type: application/x-ndjson" -XPOST "localhost pretty" --data-binary @accounts.json curl -H "Content-Type: application/x-ndjson" -XPOST "localhost:9200
1.7K20发布于 2019-06-12 - 来自专栏程序猿杜小头
Bulk API
Bulk API请求体是一种NDJSON(newline-delimited json)数据结构，NDJSON数据结构中每一行必须以换行符\n结尾，但这个换行符不需要显式添加，因为大多数文本编辑器会自动追加换行符 另外，Http Request Header中Content-Type值必须为application/x-ndjson。 operation_source 参数 数据类型 描述 doc object 对应update操作 object 对应index和create操作 1.4 实战 cat request_body_ndjson "_id":"2"}} curl -request POST http://localhost:9200/_bulk \ -header "Content-Type:application/x-ndjson header "Authorization: Basic ZWxhc3RpYzpRd2UxMjMhQGNtc3M=" \ --data-binary "@/apps/dukui/request_body_ndjson
66510编辑于 2022-12-01 - 来自专栏深度学习与计算机视觉
深度学习与机器学习中开源图片数据库汇总
这个项目同时发布到了git上，在git的地址中对数据集进行了详细的介绍，在这里简要描述下： 原始数据在 ndjson 文件中，并按类别进行了分割，按照如下格式： ? 该数据集在谷歌云存储服务中，在 ndjson 文件中分类存储。 请参阅 Cloud Console 中的文件列表，数据集分类如下： Raw files (.ndjson) Simplified drawings files (.ndjson) Binary files (.bin) Numpy bitmap files (.npy) 其中原始文件和简笔画都是.ndjson形式存储，同时提供了二进制文件（.bin）和Numpy 位图（.npy）文件。
2.7K50发布于 2018-01-02 - 来自专栏进击的Coder
如何用 AI 问答 API 彻底改变用户体验！
如果想流式返回响应，可以更改请求头里面的 accept 参数，修改为 application/x-ndjson。 修改如图所示，不过调用代码需要有对应的更改才能支持流式响应。 将 accept 修改为 application/x-ndjson 之后，API 将逐行返回对应的 JSON 数据，在代码层面我们需要做相应的修改来获得逐行的结果。 requests url = "https://api.acedata.cloud/aichat/conversations" headers = { "accept": "application/x-ndjson aichat/conversations"; const headers = { "Content-Type": "application/json", Accept: "application/x-ndjson .addHeader("Content-Type", "application/json") .addHeader("Accept", "application/x-ndjson
62910编辑于 2024-05-18 - 来自专栏FreeBuf
如何使用tsharkVM分析tshark的输出
虚拟机启动之后，整个执行流程相对比较简单 解码pcap文件（tshark -T ek output / ndjson），该文件会通过“TCP/17570”发送至虚拟机； 虚拟机中的ELK堆栈将会处理并索引数据 /Trace # 上传pcap文件（含文件名） bash upload_pcaps_with_filenames.sh # 或者使用“vagrant scp”将ndjson文件拷贝至/home/vagrant
1.9K20编辑于 2022-11-14 - 来自专栏深度学习与计算机视觉
深度学习开源图片数据库汇总
这个项目同时发布到了git上，在git的地址中对数据集进行了详细的介绍，在这里简要描述下： 原始数据在 ndjson 文件中，并按类别进行了分割，按照如下格式： 该数据集在谷歌云存储服务中， 在 ndjson 文件中分类存储。 请参阅 Cloud Console 中的文件列表，数据集分类如下： Raw files (.ndjson) Simplified drawings files (.ndjson) Binary files (.bin) Numpy bitmap files (.npy) 其中原始文件和简笔画都是.ndjson形式存储，同时提供了二进制文件（.bin）和Numpy 位图（.npy）文件。
3.2K30编辑于 2022-05-07 - 来自专栏崔哥的专栏
Beats - 轻量型数据采集器
的仪表盘需要单独下载，手动导入 https://github.com/elastic/uptime-contrib/tree/master/dashboards/7.x/http_dashboard.ndjson 导入前需要确认下索引模式，默认 http_dashboard.ndjson 中的索引模式是 heartbeat-* , 如果和你的数据不一致，需要批量替换 找到此路径：Stack Management
1.1K20编辑于 2022-05-25 - 来自专栏Elastic Stack专栏
将 Logstash 管道转换为 OpenTelemetry Collector 管道
"url": { "path": "/blog" }, "user": { "name": "frank" } } 示例 2：解析和转换 NDJSON ":"2024-10-11 12:34:56.123 +0100","user":{"id":"A1230","name":"john_doe"}} 我们将应用以下步骤： 从文件 /tmp/demo.ndjson Logstash 管道 input { file { path => "/tmp/demo.ndjson" #[1] start_position => "beginning } } OpenTelemetry Collector 配置 receivers: filelog/json: # [1] include: - /tmp/demo.ndjson
65321编辑于 2024-12-10 - 来自专栏SpringBoot教程
ElasticSearch全文搜索引擎 -Spring Boot操作ES（SpringData概述、Spring Data Elasticsearch、基本操作、ElasticSearch操作文档）
return restTemplate.postForObject(url, requestEntity, String.class); } /** * ndjson 格式数据请求 * * @param ndjson 一种数据格式 * @param url url * @return String * @author yh * @date 2022/8/5 */ public static String postForNdjson(String url, String ndjson) { = new HttpHeaders(); headers.add("Content-Type", "application/x-ndjson"); headers.set ("authorization", authentication); HttpEntity<String> request = new HttpEntity<>(ndjson, headers
3.2K20编辑于 2023-02-16 - 来自专栏数据库相关
使用Monstache同步mongodb数据到elasticsearch
application/json Authorization: Basic ZWxhc3RpYzpVRXZjVjVIRWNWdG5IaVZMbzVhOQ== Content-Type: application/x-ndjson application/json Authorization: Basic ZWxhc3RpYzpVRXZjVjVIRWNWdG5IaVZMbzVhOQ== Content-Type: application/x-ndjson application/json Authorization: Basic ZWxhc3RpYzpVRXZjVjVIRWNWdG5IaVZMbzVhOQ== Content-Type: application/x-ndjson
41900编辑于 2025-04-13 跨集群搜索在安全应用中的配置指南
批量复制与修改：全选规则并复制，导出为NDJSON文件后替换原索引模式为CCS格式（如将 "auditbeat-*" 改为 "*:auditbeat-*"）。
17410编辑于 2025-08-14- 来自专栏FreeBuf
如何使用LiveTargetsFinder生成实时活动主机URL列表
10.1.0.200, 52.3.1.166 指定的或默认数据库路径 存储了活动主机及其运行服务的SQLite数据库 output/victimDomains_massdns.txt MassDNS的原始输出，格式为ndjson output/victimDomains_masscan.txt Masscan的原始输出，格式为ndjson output/victimDomains_nmap.txt Nmap的原始输出，格式为
2.3K30编辑于 2022-11-14 - 来自专栏FreeBuf
Melody：专为威胁情报设计的透明互联网传感器
Melody sudo systemctl status melody # Check that Melody is running 日志文件将会存储在“/opt/melody/logs/melody.ndjson ”路径中： tail -f /opt/melody/logs/melody.ndjson # | jq Docker使用 make certs # Make
38610编辑于 2022-06-08 - 来自专栏Rust语言学习交流
【Rust日报】2023-01-14 实验性的跨平台 UI 框架 viewbuilder
对于ndjson类型的 JSON， serde_json_borrow的解析速度提高了 2 倍。
37330编辑于 2023-02-15 Databend 数据写入实测：从 3千行/秒 到 230万行/秒，4种方式该怎么选
STREAMING_LOAD 支持 CSV、NDJSON、Parquet 等常见格式直接流式写入，是私有化场景里接受度较高的一种形态。适用于实时数据摄入。 简称：streaming_load 4. STAGE_LOAD (Copy Into) 基于对象存储的批量加载，可以处理 CSV、NDJSON、Parquet、ORC 等文件及其压缩格式。这是性能最强的云原生写入方式。 System.out.println("Loaded rows: " + loaded); } } 特点： 使用特殊 stage @_databend_load，直接流式加载 支持 CSV/NDJSON
12410编辑于 2026-01-07- 来自专栏爬虫资料
stream流式JSON数据的特点及Java示例
流式JSON数据通常采用一些特定的格式，例如JSON Lines或NDJSON格式，以便在传输和处理过程中进行解析和序列化。
1.9K30编辑于 2023-05-11
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号