1. 先搞清楚 Doris 是什么以及为什么 Python 开发者需要关注它如果你正在处理海量数据的实时分析比如用户行为日志、物联网设备上报、或者需要快速响应的报表查询传统的 MySQL 可能会在亿级数据量上显得吃力。这时候Doris作为一个开源的、基于 MPP 架构的实时分析型数据库就值得你花时间了解一下。它兼容 MySQL 协议这意味着你熟悉的 Python 数据库驱动如PyMySQL、mysql-connector-python可以直接连接它学习成本很低。对于 Python 开发者来说Doris 的核心价值在于能用写 MySQL 的方式处理大数据量的实时查询。你不用去学一套全新的查询语言也不用在应用层做复杂的分库分表。很多从 MySQL 迁移过来的场景比如将历史日志数据从 Hive/Spark 导入 Doris 做即席查询或者构建实时数仓Doris 都是一个非常务实的选择。这篇文章不会只讲概念我会带你从零开始在一台 Linux 服务器上部署一个 Doris 集群1个 FE 1个 BE然后用 Python 连接它完成建表、导入数据和查询的完整流程。重点是部署过程中的坑点、参数怎么调、以及 Python 操作时的注意事项。无论你是为了项目选型还是课程设计、个人学习这套实操指南都能让你快速上手。2. 部署前的准备环境、资源与版本选择部署 Doris 之前最忌讳的就是直接照搬命令开干。先花十分钟把环境理清楚能避开 80% 的启动失败问题。2.1 硬件与操作系统要求Doris 对硬件有一定要求尤其是内存。操作系统官方推荐 CentOS 7.x 及以上、Ubuntu 16.04 及以上。我实测在 Ubuntu 20.04/22.04 LTS 上最顺畅。生产环境尽量避免使用太新的或非主流的发行版。CPU建议 4 核以上。BE 节点负责计算和存储CPU 核心数会影响查询和导入性能。内存这是关键。FE 节点至少需要 4GB如果启用了 JVM 堆外内存监控需要更多。BE 节点建议 8GB 起步因为数据压缩、查询计算都在内存中进行。内存不足是后续查询报错“Memory limit exceeded”的常见原因。磁盘BE 节点需要存储数据建议使用 SSD 以获得更好的 IO 性能。预留 100GB 以上空间具体取决于你的数据量。网络集群内节点FE 和 BE需要互通且时钟同步使用 NTP。防火墙需开放相应端口后续会提到。对于学习和测试你可以用一台配置稍好的虚拟机如 4核8G同时部署 FE 和 BE这被称为“单节点伪集群”。但心里要清楚这不是生产部署方式。2.2 软件依赖与版本选择JavaDoris 的 FE 依赖 Java 运行环境。需要JDK 8 或 JDK 11。推荐使用 Oracle JDK 8 或 OpenJDK 8。确保java -version命令能正确输出。# 检查Java版本 java -versionDoris 版本访问 Apache Doris 官网或 GitHub Releases 页面选择稳定版本。对于新手我建议选择最新的稳定版如 2.0.x 系列而不是开发中的master分支。本文将以2.0.4版本为例。版本选择错误可能导致部署脚本不兼容或存在未知 Bug。2.3 规划安装目录与用户不建议直接使用root用户运行 Doris。创建一个专用系统用户如doris来管理更安全也更规范。# 创建用户和组 sudo groupadd doris sudo useradd -g doris doris # 设置密码可选 sudo passwd doris # 创建安装目录并授权 sudo mkdir -p /opt/doris sudo chown -R doris:doris /opt/doris后续的所有操作如果没有特别说明都将使用doris用户进行。你可以通过su - doris切换。3. 一步步部署 Doris 集群单机伪分布式我们在一台机器上部署一个 FE 和一个 BE模拟集群环境。这是理解 Doris 架构最直接的方式。3.1 下载并解压 Doris切换到doris用户进入安装目录下载。su - doris cd /opt/doris # 下载二进制包请替换为官网最新的稳定版链接 wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.4-bin-x64.tar.gz # 解压 tar -zxvf apache-doris-2.0.4-bin-x64.tar.gz # 创建一个软链接或直接重命名方便后续管理 ln -s apache-doris-2.0.4-bin-x64 current cd current现在目录结构如下fe/Frontend 前端节点目录负责元数据管理、集群调度、接收客户端连接。be/Backend 后端节点目录负责数据存储和计算。apache_hdfs_broker/用于访问 HDFS 的 Broker 组件非必需初次部署可忽略。3.2 配置并启动 Frontend (FE)FE 是集群的“大脑”先启动它。修改 FE 配置文件cd fe cp conf/fe.conf conf/fe.conf.bak # 备份 vi conf/fe.conf关键配置项根据你的环境修改# 元数据目录默认在Doris目录下。生产环境建议挂载到独立、可靠的磁盘。 meta_dir ${DORIS_HOME}/doris-meta # FE 节点的 IP 地址。如果是单机就写本机内网IP不要用 127.0.0.1 或 localhost。 priority_networks 192.168.1.100/24 # JVM 堆内存大小。根据机器内存调整一般 4-8GB 够用。 JAVA_OPTS -Xmx4096m -Xms4096m -XX:UseMembar -XX:SurvivorRatio8 -XX:MaxTenuringThreshold7 -XX:PrintGCDateStamps -XX:PrintGCDetails -XX:UseConcMarkSweepGC -XX:UseParNewGC -XX:CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction80 -XX:SoftRefLRUPolicyMSPerMB0 -Xloggc:$DORIS_HOME/log/fe.gc.logpriority_networks非常重要它告诉 FE 使用哪个网卡IP进行集群通信。用ifconfig或ip addr命令查看你的内网 IP。启动 FE./bin/start_fe.sh --daemon查看日志确认是否启动成功tail -f log/fe.log看到thrift server started with port 9020和http server started with port 8030类似的日志并且没有持续报错通常就表示 FE 启动成功。初次访问 FE Web UI 在浏览器打开http://你的服务器IP:8030。用户名是root密码默认为空。首次登录后系统会强制你修改密码。这个 Web UI 是管理集群、查看查询、监控系统状态的主要入口。3.3 配置并启动 Backend (BE)FE 启动后需要将 BE 添加到集群中。修改 BE 配置文件cd /opt/doris/current/be cp conf/be.conf conf/be.conf.bak vi conf/be.conf关键配置项# BE 的 IP 地址同样需要指定内网IP。 priority_networks 192.168.1.100/24 # 数据存储目录可以配置多个用分号隔开。生产环境建议使用多块盘。 storage_root_path /opt/doris/data1;medium:ssd # BE 的 JVM 堆内存根据机器内存调整通常 8-16GB 或更高。 JAVA_OPTS -Xmx8192m -Xms8192m -XX:UseMembar -XX:SurvivorRatio8 -XX:MaxTenuringThreshold7 -XX:PrintGCDateStamps -XX:PrintGCDetails -XX:UseConcMarkSweepGC -XX:UseParNewGC -XX:CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction80 -XX:SoftRefLRUPolicyMSPerMB0 -Xloggc:$DORIS_HOME/log/be.gc.log注意storage_root_path的格式/opt/doris/data1是路径medium:ssd是存储介质标签。启动 BE./bin/start_be.sh --daemon查看 BE 日志tail -f log/be.log看到heartbeat service start with port: 9050和thrift server started with port: 9060等日志表示 BE 进程启动。将 BE 节点添加到 FE集群管理 BE 进程起来后还需要在 FE 里“登记”它。使用 MySQL 客户端连接 FE因为 Doris 兼容 MySQL 协议。# 在服务器上使用 doris 用户 mysql -h 127.0.0.1 -P 9030 -uroot -p # 输入你刚才在 Web UI 修改后的 root 密码连接成功后执行以下 SQL 添加 BE 节点ALTER SYSTEM ADD BACKEND 你的BE_IP:9050;例如ALTER SYSTEM ADD BACKEND 192.168.1.100:9050;验证 BE 状态 在 MySQL 客户端执行SHOW PROC /backends\G查看结果。重点关注Alive列是否为true以及LastHeartbeat是否最近。如果Alive为false请检查 BE 日志中的错误信息常见问题包括 FE 和 BE 的priority_networks配置不一致、端口不通等。3.4 防火墙与端口汇总确保以下端口在服务器防火墙如 firewalld、iptables中是开放的或者直接关闭防火墙仅限测试环境8030: FE HTTP 端口Web UI9030: FE MySQL 协议端口客户端连接9020: FE Thrift Server 端口9050: BE Heartbeat 端口9060: BE Thrift Server 端口8040: BE HTTP 端口BE Web UI4. 使用 Python 连接 Doris 并进行基本操作集群跑起来后我们回到 Python 开发者的主场。连接 Doris 和连接 MySQL 几乎一模一样。4.1 安装 Python 连接驱动与建立连接最常用的驱动是PyMySQL。pip install pymysql然后你可以像下面这样连接 Dorisimport pymysql # 连接参数 connection pymysql.connect( host你的服务器IP, # FE 节点的 IP port9030, # FE 的 MySQL 协议端口 userroot, password你的密码, databasetest_db, # 可以连接到一个已存在的数据库或者先不指定 charsetutf8mb4 ) try: with connection.cursor() as cursor: # 示例查询版本 cursor.execute(SELECT VERSION()) result cursor.fetchone() print(fDoris Version: {result[0]}) finally: connection.close()如果连接失败按顺序排查FE 是否正常运行8030端口能否访问防火墙是否开放了9030端口用户名密码是否正确注意Doris 的root用户密码是独立的不是系统 root 密码。4.2 创建数据库、表与数据导入Doris 的表模型数据模型是其性能的核心。主要有三种Duplicate Key、Aggregate Key和Unique Key。对于初学者从Duplicate Key开始最直观它类似普通数据库表指定排序列但不聚合数据。import pymysql conn pymysql.connect(hostyour_ip, port9030, userroot, passwordyour_pwd) cursor conn.cursor() # 1. 创建数据库 cursor.execute(CREATE DATABASE IF NOT EXISTS demo_db) cursor.execute(USE demo_db) # 2. 创建一张 Duplicate Key 表 create_table_sql CREATE TABLE IF NOT EXISTS user_behavior ( user_id INT, item_id INT, category_id INT, behavior_type VARCHAR(10), visit_time DATETIME ) DUPLICATE KEY(user_id, item_id) -- 指定排序列数据按此排序用于快速过滤 DISTRIBUTED BY HASH(user_id) BUCKETS 10 -- 分桶决定数据在BE间的分布 PROPERTIES ( replication_num 1 -- 副本数单机测试设为1 ); cursor.execute(create_table_sql) print(Table created.) # 3. 插入测试数据小批量插入适用于测试 insert_sql INSERT INTO user_behavior VALUES (%s, %s, %s, %s, %s) data [ (1001, 2001, 1, pv, 2024-01-01 10:00:00), (1001, 2002, 2, buy, 2024-01-01 10:05:00), (1002, 2001, 1, cart, 2024-01-01 10:10:00), ] cursor.executemany(insert_sql, data) conn.commit() # Doris 需要显式提交 print(f{cursor.rowcount} rows inserted.) # 4. 查询数据 cursor.execute(SELECT * FROM user_behavior ORDER BY visit_time) rows cursor.fetchall() for row in rows: print(row) cursor.close() conn.close()注意INSERT INTO ... VALUES方式只适合小数据量测试。真实的大数据导入Doris 提供了更高效的方式Stream Load、Broker Load、Routine Load等。例如从本地 CSV 文件导入可以使用curl命令发起 Stream Load 请求这在 Python 里用requests库很容易实现。4.3 执行查询与结果处理执行查询和 MySQL 客户端无异。但要注意Doris 是分析型数据库擅长处理大表关联、聚合查询而不是高并发的单行点查。# 聚合查询示例统计每个用户的行为次数 sql SELECT user_id, COUNT(*) as action_count, SUM(CASE WHEN behavior_type buy THEN 1 ELSE 0 END) as buy_count FROM user_behavior GROUP BY user_id ORDER BY action_count DESC cursor.execute(sql) for user_id, action_count, buy_count in cursor.fetchall(): print(fUser {user_id}: total actions {action_count}, purchases {buy_count}) # 查询元信息 cursor.execute(SHOW TABLES) print(cursor.fetchall())5. 生产环境考量与常见问题排查当你把单机伪集群玩转准备用到真实项目时下面这些点必须提前考虑。5.1 集群部署与参数调优FE 高可用生产环境至少部署3 个 FE 节点1个 Leader2个 Follower组成选举组避免单点故障。通过ALTER SYSTEM ADD FOLLOWER和ALTER SYSTEM ADD OBSERVER命令添加。BE 横向扩展数据量和查询压力增大时直接添加 BE 节点即可。使用ALTER SYSTEM ADD BACKEND命令。数据会自动进行重新均衡。参数调优be.conf中的storage_page_cache_limit和buffer_pool_limit用于控制 BE 的存储页面缓存和查询内存池通常设置为物理内存的 40%-60%。fe.conf中的query_cache_size可以设置查询缓存但对实时更新频繁的场景可能不适用。建表时DISTRIBUTED BY HASH(...) BUCKETS的分桶数设置很关键。建议每个 BE 的每个分桶数据量在 100MB-1GB 之间。可以先设置一个预估数后期通过ALTER TABLE修改2.0版本支持。5.2 数据导入与更新策略Stream Load用于从本地文件或程序内存中导入数据HTTP 协议适合高频小批量或实时流。import requests import base64 user_pass base64.b64encode(b‘root:’).decode() # 注意密码 headers { ‘Authorization’: f‘Basic {user_pass}’, ‘Expect’: ‘100-continue’ } files {‘file’: open(‘data.csv’, ‘rb’)} # 这里仅为示例实际需要构造正确的URL和参数 # resp requests.put(‘http://fe_host:8030/api/demo_db/user_behavior/_stream_load‘, headersheaders, datafiles)Broker Load通过 Broker 进程从 HDFS、S3 等外部存储系统导入大数据量文件适合定时批量作业。Routine Load持续消费 Kafka 等消息队列中的数据实现准实时导入。数据更新Doris 的Unique Key 模型支持主键更新UPSERT。对于Aggregate Key 模型通过聚合函数自动更新。Duplicate Key 模型本身不支持更新需要DELETE INSERT或使用UNIQUE KEY模型。5.3 常见错误与排查思路ERROR 1064 (HY000): Could not initialize class org.apache.doris.common.Config可能原因Java 环境问题或者 FE/BE 启动脚本找不到 Java。排查检查JAVA_HOME环境变量确认java -version输出正确。确保启动用户如doris有权限执行 Java。ERROR 1064 (HY000): Failed to get scan range, no queryable replica found in tablet可能原因表的数据副本丢失或损坏在单副本replication_num1时BE 宕机或数据目录损坏。排查执行SHOW PROC ‘/tablet_health’查看副本健康状态。检查 BE 日志确认数据目录是否可访问。单机测试时确保 BE 进程稳定。查询报错Memory limit exceeded可能原因查询过于复杂或数据量太大超出了单个 BE 节点的内存限制。排查简化查询尝试增加be.conf中的memory_limitation_per_thread和query_mem_limit参数需重启 BE。更根本的方法是优化 SQL避免全表扫描或超大中间结果集。BE 添加后Alive状态为false可能原因网络不通、防火墙、priority_networks配置错误、BE 与 FE 时钟不同步。排查在 FE 机器上telnet be_ip 9050测试端口。核对 FE 和 BE 配置文件中的priority_networks是否在同一网段。使用date命令检查两台机器时间差。Python 插入数据慢可能原因使用INSERT INTO ... VALUES单条或少量插入效率极低。解决方案改用Stream Load方式批量导入。或者如果必须用 INSERT确保使用executemany进行批量提交并适当增大max_allowed_packet参数在fe.conf的mysql_server部分。6. 进阶学习与生态工具当你掌握了基本部署和 Python 操作后可以探索以下方向来提升对 Doris 的掌控力数据模型深入研究Aggregate Key模型的预聚合以及Unique Key模型如何实现实时更新。理解不同模型对查询性能和存储空间的影响。物化视图Doris 的物化视图可以自动预计算聚合数据将复杂查询的耗时从秒级降到毫秒级。学会创建和维护物化视图是性能优化的利器。外部表通过ODBC或MySQL外部表功能可以直接在 Doris 中查询其他数据库如 MySQL、PostgreSQL的数据无需导入实现联邦查询。监控与告警Doris 提供了丰富的 Metrics通过 FE/BE 的 HTTP 端口访问/metrics可以集成到 Prometheus Grafana 中监控集群健康度、查询延迟、资源使用率等。生态工具Doris Manager官方提供的可视化集群管理平台比原生 Web UI 功能更强大。DBEaver、DataGrip通用数据库客户端配置好 JDBC 驱动后可以直接连接 Doris 进行可视化查询和数据管理。Apache Superset、Metabase开源 BI 工具可以连接 Doris 作为数据源快速制作报表和仪表盘。部署和第一次连接成功只是起点。Doris 的真正威力在于用它来高效地解决海量数据分析问题。建议从一个小而具体的业务场景比如分析一段时间的网站访问日志开始实践从数据导入、建表、SQL 查询到结果可视化的全流程。在这个过程中你会更深刻地理解分桶、索引、物化视图这些概念的实际意义。遇到问题多查官方文档和社区 Issue大部分坑都已经有人踩过了。
Python开发者实战指南：从零部署Doris集群并实现数据实时分析
发布时间：2026/6/30 18:41:31
1. 先搞清楚 Doris 是什么以及为什么 Python 开发者需要关注它如果你正在处理海量数据的实时分析比如用户行为日志、物联网设备上报、或者需要快速响应的报表查询传统的 MySQL 可能会在亿级数据量上显得吃力。这时候Doris作为一个开源的、基于 MPP 架构的实时分析型数据库就值得你花时间了解一下。它兼容 MySQL 协议这意味着你熟悉的 Python 数据库驱动如PyMySQL、mysql-connector-python可以直接连接它学习成本很低。对于 Python 开发者来说Doris 的核心价值在于能用写 MySQL 的方式处理大数据量的实时查询。你不用去学一套全新的查询语言也不用在应用层做复杂的分库分表。很多从 MySQL 迁移过来的场景比如将历史日志数据从 Hive/Spark 导入 Doris 做即席查询或者构建实时数仓Doris 都是一个非常务实的选择。这篇文章不会只讲概念我会带你从零开始在一台 Linux 服务器上部署一个 Doris 集群1个 FE 1个 BE然后用 Python 连接它完成建表、导入数据和查询的完整流程。重点是部署过程中的坑点、参数怎么调、以及 Python 操作时的注意事项。无论你是为了项目选型还是课程设计、个人学习这套实操指南都能让你快速上手。2. 部署前的准备环境、资源与版本选择部署 Doris 之前最忌讳的就是直接照搬命令开干。先花十分钟把环境理清楚能避开 80% 的启动失败问题。2.1 硬件与操作系统要求Doris 对硬件有一定要求尤其是内存。操作系统官方推荐 CentOS 7.x 及以上、Ubuntu 16.04 及以上。我实测在 Ubuntu 20.04/22.04 LTS 上最顺畅。生产环境尽量避免使用太新的或非主流的发行版。CPU建议 4 核以上。BE 节点负责计算和存储CPU 核心数会影响查询和导入性能。内存这是关键。FE 节点至少需要 4GB如果启用了 JVM 堆外内存监控需要更多。BE 节点建议 8GB 起步因为数据压缩、查询计算都在内存中进行。内存不足是后续查询报错“Memory limit exceeded”的常见原因。磁盘BE 节点需要存储数据建议使用 SSD 以获得更好的 IO 性能。预留 100GB 以上空间具体取决于你的数据量。网络集群内节点FE 和 BE需要互通且时钟同步使用 NTP。防火墙需开放相应端口后续会提到。对于学习和测试你可以用一台配置稍好的虚拟机如 4核8G同时部署 FE 和 BE这被称为“单节点伪集群”。但心里要清楚这不是生产部署方式。2.2 软件依赖与版本选择JavaDoris 的 FE 依赖 Java 运行环境。需要JDK 8 或 JDK 11。推荐使用 Oracle JDK 8 或 OpenJDK 8。确保java -version命令能正确输出。# 检查Java版本 java -versionDoris 版本访问 Apache Doris 官网或 GitHub Releases 页面选择稳定版本。对于新手我建议选择最新的稳定版如 2.0.x 系列而不是开发中的master分支。本文将以2.0.4版本为例。版本选择错误可能导致部署脚本不兼容或存在未知 Bug。2.3 规划安装目录与用户不建议直接使用root用户运行 Doris。创建一个专用系统用户如doris来管理更安全也更规范。# 创建用户和组 sudo groupadd doris sudo useradd -g doris doris # 设置密码可选 sudo passwd doris # 创建安装目录并授权 sudo mkdir -p /opt/doris sudo chown -R doris:doris /opt/doris后续的所有操作如果没有特别说明都将使用doris用户进行。你可以通过su - doris切换。3. 一步步部署 Doris 集群单机伪分布式我们在一台机器上部署一个 FE 和一个 BE模拟集群环境。这是理解 Doris 架构最直接的方式。3.1 下载并解压 Doris切换到doris用户进入安装目录下载。su - doris cd /opt/doris # 下载二进制包请替换为官网最新的稳定版链接 wget https://apache-doris-releases.oss-accelerate.aliyuncs.com/apache-doris-2.0.4-bin-x64.tar.gz # 解压 tar -zxvf apache-doris-2.0.4-bin-x64.tar.gz # 创建一个软链接或直接重命名方便后续管理 ln -s apache-doris-2.0.4-bin-x64 current cd current现在目录结构如下fe/Frontend 前端节点目录负责元数据管理、集群调度、接收客户端连接。be/Backend 后端节点目录负责数据存储和计算。apache_hdfs_broker/用于访问 HDFS 的 Broker 组件非必需初次部署可忽略。3.2 配置并启动 Frontend (FE)FE 是集群的“大脑”先启动它。修改 FE 配置文件cd fe cp conf/fe.conf conf/fe.conf.bak # 备份 vi conf/fe.conf关键配置项根据你的环境修改# 元数据目录默认在Doris目录下。生产环境建议挂载到独立、可靠的磁盘。 meta_dir ${DORIS_HOME}/doris-meta # FE 节点的 IP 地址。如果是单机就写本机内网IP不要用 127.0.0.1 或 localhost。 priority_networks 192.168.1.100/24 # JVM 堆内存大小。根据机器内存调整一般 4-8GB 够用。 JAVA_OPTS -Xmx4096m -Xms4096m -XX:UseMembar -XX:SurvivorRatio8 -XX:MaxTenuringThreshold7 -XX:PrintGCDateStamps -XX:PrintGCDetails -XX:UseConcMarkSweepGC -XX:UseParNewGC -XX:CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction80 -XX:SoftRefLRUPolicyMSPerMB0 -Xloggc:$DORIS_HOME/log/fe.gc.logpriority_networks非常重要它告诉 FE 使用哪个网卡IP进行集群通信。用ifconfig或ip addr命令查看你的内网 IP。启动 FE./bin/start_fe.sh --daemon查看日志确认是否启动成功tail -f log/fe.log看到thrift server started with port 9020和http server started with port 8030类似的日志并且没有持续报错通常就表示 FE 启动成功。初次访问 FE Web UI 在浏览器打开http://你的服务器IP:8030。用户名是root密码默认为空。首次登录后系统会强制你修改密码。这个 Web UI 是管理集群、查看查询、监控系统状态的主要入口。3.3 配置并启动 Backend (BE)FE 启动后需要将 BE 添加到集群中。修改 BE 配置文件cd /opt/doris/current/be cp conf/be.conf conf/be.conf.bak vi conf/be.conf关键配置项# BE 的 IP 地址同样需要指定内网IP。 priority_networks 192.168.1.100/24 # 数据存储目录可以配置多个用分号隔开。生产环境建议使用多块盘。 storage_root_path /opt/doris/data1;medium:ssd # BE 的 JVM 堆内存根据机器内存调整通常 8-16GB 或更高。 JAVA_OPTS -Xmx8192m -Xms8192m -XX:UseMembar -XX:SurvivorRatio8 -XX:MaxTenuringThreshold7 -XX:PrintGCDateStamps -XX:PrintGCDetails -XX:UseConcMarkSweepGC -XX:UseParNewGC -XX:CMSClassUnloadingEnabled -XX:-CMSParallelRemarkEnabled -XX:CMSInitiatingOccupancyFraction80 -XX:SoftRefLRUPolicyMSPerMB0 -Xloggc:$DORIS_HOME/log/be.gc.log注意storage_root_path的格式/opt/doris/data1是路径medium:ssd是存储介质标签。启动 BE./bin/start_be.sh --daemon查看 BE 日志tail -f log/be.log看到heartbeat service start with port: 9050和thrift server started with port: 9060等日志表示 BE 进程启动。将 BE 节点添加到 FE集群管理 BE 进程起来后还需要在 FE 里“登记”它。使用 MySQL 客户端连接 FE因为 Doris 兼容 MySQL 协议。# 在服务器上使用 doris 用户 mysql -h 127.0.0.1 -P 9030 -uroot -p # 输入你刚才在 Web UI 修改后的 root 密码连接成功后执行以下 SQL 添加 BE 节点ALTER SYSTEM ADD BACKEND 你的BE_IP:9050;例如ALTER SYSTEM ADD BACKEND 192.168.1.100:9050;验证 BE 状态 在 MySQL 客户端执行SHOW PROC /backends\G查看结果。重点关注Alive列是否为true以及LastHeartbeat是否最近。如果Alive为false请检查 BE 日志中的错误信息常见问题包括 FE 和 BE 的priority_networks配置不一致、端口不通等。3.4 防火墙与端口汇总确保以下端口在服务器防火墙如 firewalld、iptables中是开放的或者直接关闭防火墙仅限测试环境8030: FE HTTP 端口Web UI9030: FE MySQL 协议端口客户端连接9020: FE Thrift Server 端口9050: BE Heartbeat 端口9060: BE Thrift Server 端口8040: BE HTTP 端口BE Web UI4. 使用 Python 连接 Doris 并进行基本操作集群跑起来后我们回到 Python 开发者的主场。连接 Doris 和连接 MySQL 几乎一模一样。4.1 安装 Python 连接驱动与建立连接最常用的驱动是PyMySQL。pip install pymysql然后你可以像下面这样连接 Dorisimport pymysql # 连接参数 connection pymysql.connect( host你的服务器IP, # FE 节点的 IP port9030, # FE 的 MySQL 协议端口 userroot, password你的密码, databasetest_db, # 可以连接到一个已存在的数据库或者先不指定 charsetutf8mb4 ) try: with connection.cursor() as cursor: # 示例查询版本 cursor.execute(SELECT VERSION()) result cursor.fetchone() print(fDoris Version: {result[0]}) finally: connection.close()如果连接失败按顺序排查FE 是否正常运行8030端口能否访问防火墙是否开放了9030端口用户名密码是否正确注意Doris 的root用户密码是独立的不是系统 root 密码。4.2 创建数据库、表与数据导入Doris 的表模型数据模型是其性能的核心。主要有三种Duplicate Key、Aggregate Key和Unique Key。对于初学者从Duplicate Key开始最直观它类似普通数据库表指定排序列但不聚合数据。import pymysql conn pymysql.connect(hostyour_ip, port9030, userroot, passwordyour_pwd) cursor conn.cursor() # 1. 创建数据库 cursor.execute(CREATE DATABASE IF NOT EXISTS demo_db) cursor.execute(USE demo_db) # 2. 创建一张 Duplicate Key 表 create_table_sql CREATE TABLE IF NOT EXISTS user_behavior ( user_id INT, item_id INT, category_id INT, behavior_type VARCHAR(10), visit_time DATETIME ) DUPLICATE KEY(user_id, item_id) -- 指定排序列数据按此排序用于快速过滤 DISTRIBUTED BY HASH(user_id) BUCKETS 10 -- 分桶决定数据在BE间的分布 PROPERTIES ( replication_num 1 -- 副本数单机测试设为1 ); cursor.execute(create_table_sql) print(Table created.) # 3. 插入测试数据小批量插入适用于测试 insert_sql INSERT INTO user_behavior VALUES (%s, %s, %s, %s, %s) data [ (1001, 2001, 1, pv, 2024-01-01 10:00:00), (1001, 2002, 2, buy, 2024-01-01 10:05:00), (1002, 2001, 1, cart, 2024-01-01 10:10:00), ] cursor.executemany(insert_sql, data) conn.commit() # Doris 需要显式提交 print(f{cursor.rowcount} rows inserted.) # 4. 查询数据 cursor.execute(SELECT * FROM user_behavior ORDER BY visit_time) rows cursor.fetchall() for row in rows: print(row) cursor.close() conn.close()注意INSERT INTO ... VALUES方式只适合小数据量测试。真实的大数据导入Doris 提供了更高效的方式Stream Load、Broker Load、Routine Load等。例如从本地 CSV 文件导入可以使用curl命令发起 Stream Load 请求这在 Python 里用requests库很容易实现。4.3 执行查询与结果处理执行查询和 MySQL 客户端无异。但要注意Doris 是分析型数据库擅长处理大表关联、聚合查询而不是高并发的单行点查。# 聚合查询示例统计每个用户的行为次数 sql SELECT user_id, COUNT(*) as action_count, SUM(CASE WHEN behavior_type buy THEN 1 ELSE 0 END) as buy_count FROM user_behavior GROUP BY user_id ORDER BY action_count DESC cursor.execute(sql) for user_id, action_count, buy_count in cursor.fetchall(): print(fUser {user_id}: total actions {action_count}, purchases {buy_count}) # 查询元信息 cursor.execute(SHOW TABLES) print(cursor.fetchall())5. 生产环境考量与常见问题排查当你把单机伪集群玩转准备用到真实项目时下面这些点必须提前考虑。5.1 集群部署与参数调优FE 高可用生产环境至少部署3 个 FE 节点1个 Leader2个 Follower组成选举组避免单点故障。通过ALTER SYSTEM ADD FOLLOWER和ALTER SYSTEM ADD OBSERVER命令添加。BE 横向扩展数据量和查询压力增大时直接添加 BE 节点即可。使用ALTER SYSTEM ADD BACKEND命令。数据会自动进行重新均衡。参数调优be.conf中的storage_page_cache_limit和buffer_pool_limit用于控制 BE 的存储页面缓存和查询内存池通常设置为物理内存的 40%-60%。fe.conf中的query_cache_size可以设置查询缓存但对实时更新频繁的场景可能不适用。建表时DISTRIBUTED BY HASH(...) BUCKETS的分桶数设置很关键。建议每个 BE 的每个分桶数据量在 100MB-1GB 之间。可以先设置一个预估数后期通过ALTER TABLE修改2.0版本支持。5.2 数据导入与更新策略Stream Load用于从本地文件或程序内存中导入数据HTTP 协议适合高频小批量或实时流。import requests import base64 user_pass base64.b64encode(b‘root:’).decode() # 注意密码 headers { ‘Authorization’: f‘Basic {user_pass}’, ‘Expect’: ‘100-continue’ } files {‘file’: open(‘data.csv’, ‘rb’)} # 这里仅为示例实际需要构造正确的URL和参数 # resp requests.put(‘http://fe_host:8030/api/demo_db/user_behavior/_stream_load‘, headersheaders, datafiles)Broker Load通过 Broker 进程从 HDFS、S3 等外部存储系统导入大数据量文件适合定时批量作业。Routine Load持续消费 Kafka 等消息队列中的数据实现准实时导入。数据更新Doris 的Unique Key 模型支持主键更新UPSERT。对于Aggregate Key 模型通过聚合函数自动更新。Duplicate Key 模型本身不支持更新需要DELETE INSERT或使用UNIQUE KEY模型。5.3 常见错误与排查思路ERROR 1064 (HY000): Could not initialize class org.apache.doris.common.Config可能原因Java 环境问题或者 FE/BE 启动脚本找不到 Java。排查检查JAVA_HOME环境变量确认java -version输出正确。确保启动用户如doris有权限执行 Java。ERROR 1064 (HY000): Failed to get scan range, no queryable replica found in tablet可能原因表的数据副本丢失或损坏在单副本replication_num1时BE 宕机或数据目录损坏。排查执行SHOW PROC ‘/tablet_health’查看副本健康状态。检查 BE 日志确认数据目录是否可访问。单机测试时确保 BE 进程稳定。查询报错Memory limit exceeded可能原因查询过于复杂或数据量太大超出了单个 BE 节点的内存限制。排查简化查询尝试增加be.conf中的memory_limitation_per_thread和query_mem_limit参数需重启 BE。更根本的方法是优化 SQL避免全表扫描或超大中间结果集。BE 添加后Alive状态为false可能原因网络不通、防火墙、priority_networks配置错误、BE 与 FE 时钟不同步。排查在 FE 机器上telnet be_ip 9050测试端口。核对 FE 和 BE 配置文件中的priority_networks是否在同一网段。使用date命令检查两台机器时间差。Python 插入数据慢可能原因使用INSERT INTO ... VALUES单条或少量插入效率极低。解决方案改用Stream Load方式批量导入。或者如果必须用 INSERT确保使用executemany进行批量提交并适当增大max_allowed_packet参数在fe.conf的mysql_server部分。6. 进阶学习与生态工具当你掌握了基本部署和 Python 操作后可以探索以下方向来提升对 Doris 的掌控力数据模型深入研究Aggregate Key模型的预聚合以及Unique Key模型如何实现实时更新。理解不同模型对查询性能和存储空间的影响。物化视图Doris 的物化视图可以自动预计算聚合数据将复杂查询的耗时从秒级降到毫秒级。学会创建和维护物化视图是性能优化的利器。外部表通过ODBC或MySQL外部表功能可以直接在 Doris 中查询其他数据库如 MySQL、PostgreSQL的数据无需导入实现联邦查询。监控与告警Doris 提供了丰富的 Metrics通过 FE/BE 的 HTTP 端口访问/metrics可以集成到 Prometheus Grafana 中监控集群健康度、查询延迟、资源使用率等。生态工具Doris Manager官方提供的可视化集群管理平台比原生 Web UI 功能更强大。DBEaver、DataGrip通用数据库客户端配置好 JDBC 驱动后可以直接连接 Doris 进行可视化查询和数据管理。Apache Superset、Metabase开源 BI 工具可以连接 Doris 作为数据源快速制作报表和仪表盘。部署和第一次连接成功只是起点。Doris 的真正威力在于用它来高效地解决海量数据分析问题。建议从一个小而具体的业务场景比如分析一段时间的网站访问日志开始实践从数据导入、建表、SQL 查询到结果可视化的全流程。在这个过程中你会更深刻地理解分桶、索引、物化视图这些概念的实际意义。遇到问题多查官方文档和社区 Issue大部分坑都已经有人踩过了。
相关文章
Unity 3D模型导入终极指南：5分钟掌握GLTFUtility完整教程
Unity 3D模型导入终极指南：5分钟掌握GLTFUtility完整教程 【免费下载链接】GLTFUtility Simple GLTF importer for Unity 项目地址: https://gitcode.com/gh_mirrors/gl/GLTFUtility GLTFUtility是Unity开发者必备的3D模型导入工具，它让您在Unity…
Selenium自动化破解滑块验证码：图像识别与轨迹模拟实战
1. 项目概述：当自动化遇上滑块验证码 在自动化测试和网络数据采集的日常工作中，滑块验证码就像一道横亘在程序与目标数据之间的“智能门禁”。它通过要求用户将一张拼图碎片滑动到正确位置，来区分操作者是真人还是机器。对于依赖Selenium这类…
若依项目多接口串联测试实战：从业务流设计到Postman自动化
1. 项目概述：从单接口到多接口的测试进阶上次我们聊了若依项目单接口测试的基础搭建和核心用例设计，相信你已经能独立完成登录、查询等单个接口的验证了。但真实业务场景从来不是孤立的，一个完整的用户操作，比如“创建订单并支付”…
AI代理运行时重构：从上下文窗口到事件日志的范式迁移
1. 这不是新赛道，是 runtime 层的“操作系统时刻”来了你有没有试过让一个 AI 代理连续工作四十分钟？不是闲聊，而是真正在查文档、调 API、写代码、改配置、再验证——一整套闭环动作。我去年就带着团队跑过这样一个销售线索清洗CRM 同步邮件…
元学习+基于模型的强化学习：解耦建模与决策的工业落地范式
1. 项目概述：当元学习遇上模型驱动，不是叠概念，而是解耦“学什么”和“怎么学”“Model-Based Meta Reinforcement Learning”——这个标题一出来，很多人第一反应是：又一个把两个热门词硬凑在一起的论文标题吧…
年龄组分类不是图像分类：面向真实场景的跨域年龄建模方法
1. 项目概述：这不是一个“调个模型跑个准确率”的练习题“Using a CNN to Classify Age Groups”——光看标题，很多人第一反应是：哦，又一个Keras教程，加载IMDB数据集、加几层Conv2D、compile、fit、print accuracy。但…
tModLoader终极创造：打造个性化泰拉瑞亚模组扩展生态
tModLoader终极创造：打造个性化泰拉瑞亚模组扩展生态 【免费下载链接】tModLoader A mod to make and play Terraria mods. Supports Terraria 1.4 (and earlier) installations 项目地址: https://gitcode.com/gh_mirrors/tm/tModLoader 还在为泰拉瑞亚原版…
Selenide自动化测试：从Selenium进阶到高效稳定的UI测试实践
1. 项目概述：从Selenium到Selenide的自动化测试演进如果你正在或即将踏入Web自动化测试领域，那么“Selenium”这个名字你一定不陌生。它几乎是这个领域的代名词，一个强大的、开源的浏览器自动化工具。但很多测试工程师，尤其是从手…
Anthropic Zero-Plane：大模型确定性延迟架构解析
1. 项目概述：这不是一次普通更新，而是一次架构级“静默坍缩”“Anthropic Just Shipped the Layer That’s Already Going to Zero”——这个标题乍看像科技媒体的夸张头条，但作为连续跟踪Claude模型演进三年、亲手部署过从Haiku到Sonnet再到…
Google限制Meta使用Gemini模型 凸显AI授权竞争白热化
近日，据多家科技媒体报道，Google已对Meta施加限制，禁止其在部分产品或服务中直接使用Gemini AI模型。这一消息一经传出，便在人工智能领域掀起波澜，凸显出当前大厂间AI模型授权竞争的激烈程度。 新闻导语：根…
XGBoost超参数实战：从理论到调优策略
1. XGBoost超参数基础认知 第一次接触XGBoost时，我被它那密密麻麻的参数列表吓到了。这感觉就像面对一架波音747的驾驶舱——每个按钮都可能有神奇的效果，但按错了就可能坠机。经过多年实战，我发现其实掌握十几个核心参数就能解决90%的问题。…
ChatGPT函数调用从入门到高并发落地：3步完成生产级集成，附可直接运行的TypeScript+Python双模版
更多请点击： https://kaifayun.com 第一章：ChatGPT函数调用的核心原理与演进脉络 函数调用（Function Calling）是大语言模型从纯文本生成迈向结构化交互的关键跃迁。其本质并非模型原生具备“执行代码”的能力，而是通…
AI Coding 六个月真实ROI账本：产品经理的血泪教训，研发的冷静忠告
6个月前的2025年12月，Boris Cherny 公开宣布自己卸载了 IDE。一时间，Vibe Coding 成了全行业最热的话题。6个月后，当我们回过头来拉一份真实账本，发现事情远没有"一句话生成一个App"那么浪漫。本文从产品经理和研发两个…
华为OD机试2025C卷-字符统计及重排[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率
📫 个人主页：深夜coding算法 📣 专栏系列：2026年华为最新OD机试题库详解 🔥 一次订阅，永久解锁 | 持续更新100篇 | 6语言全覆盖 文章目录❄️前言：☀️一：题目描述🌙 题目…
华为OD机试2025C卷-寻找相同子串[100分]（ Java _ Python3 _ C++ _ C语言 _ JsNode _ Go）实现100%通过率
📫 个人主页：深夜coding算法 📣 专栏系列：2026年华为最新OD机试题库详解 🔥 一次订阅，永久解锁 | 持续更新100篇 | 6语言全覆盖 文章目录❄️前言：☀️一：题目描述🌙 题目…
Zotero Duplicates Merger：5步彻底清理文献库重复条目
Zotero Duplicates Merger：5步彻底清理文献库重复条目 【免费下载链接】ZoteroDuplicatesMerger A zotero plugin to automatically merge duplicate items 项目地址: https://gitcode.com/gh_mirrors/zo/ZoteroDuplicatesMerger 还在为文献库中堆积如山的重…
利用随机有限集理论对蜂群的ILQR和MPC控制研究附Matlab代码
✅作者简介：热爱科研的Matlab仿真开发者，擅长数据处理、建模仿真、程序设计、完整代码获取、论文复现及科研仿真。🍎 往期回顾关注个人主页：Matlab科研工作室🍊个人信条：格物致知,完整Matlab代码及仿真咨询…
为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因
更多请点击： https://intelliparadigm.com 第一章：为什么你的Gemini邮件CTE低于行业均值2.8倍？：从Prompt架构到发送时序的深度归因 Gemini邮件的客户转化效率（CTE）显著偏低，根本原因常被误判为…