初识大数据，一文掌握大数据必备知识文集(14)

发布时间：2024-01-08 11:23:10

在这里插入图片描述

🏆作者简介，普修罗双战士，一直追求不断学习和成长，在技术的道路上持续探索和实践。
🏆多年互联网行业从业经验，历任核心研发工程师，项目技术负责人。
🎉欢迎 👍点赞?评论?收藏

大数据知识专栏学习

大数据知识云集访问地址备注
大数据知识点(1)https://blog.csdn.net/m0_50308467/article/details/134989969大数据专栏
大数据知识点(2)https://blog.csdn.net/m0_50308467/article/details/135109787大数据专栏
大数据知识点(3)https://blog.csdn.net/m0_50308467/article/details/135164698大数据专栏
大数据知识点(4)https://blog.csdn.net/m0_50308467/article/details/135164812大数据专栏
大数据知识点(5)https://blog.csdn.net/m0_50308467/article/details/135164812大数据专栏
大数据知识点(6)https://blog.csdn.net/m0_50308467/article/details/135313184大数据专栏
大数据知识点(7)https://blog.csdn.net/m0_50308467/article/details/135322179大数据专栏
大数据知识点(8)https://blog.csdn.net/m0_50308467/article/details/135323118大数据专栏
大数据知识点(9)https://blog.csdn.net/m0_50308467/article/details/135354622大数据专栏
大数据知识点(10)https://blog.csdn.net/m0_50308467/article/details/135366864大数据专栏
大数据知识点(11)https://blog.csdn.net/m0_50308467/article/details/135402222大数据专栏
大数据知识点(12)https://blog.csdn.net/m0_50308467/article/details/135417210大数据专栏
大数据知识点(13)https://blog.csdn.net/m0_50308467/article/details/135435963大数据专栏
大数据知识点(14)https://blog.csdn.net/m0_50308467/article/details/135449027大数据专栏

文章目录

🏆初识大数据应用知识

🔎一、初识大数据应用知识(14)

🍁 🍁 01、什么是DAG？

DAG 是有向无环图（Directed Acyclic Graph）的缩写。在计算机科学中，DAG 是由一组顶点和一组有向边组成的图，其中顶点表示任务或操作，有向边表示任务之间的依赖关系。DAG 中的有向边从一个顶点指向另一个顶点，并且图中不存在回路，即没有从一个顶点出发能够经过若干有向边再回到该顶点的路径。

DAG 常常用于表示和解决任务调度和依赖关系的问题。在任务调度中，每个顶点代表一个任务，有向边表示任务之间的依赖关系，即某些任务必须在其他任务完成之后才能执行。通过构建任务的依赖关系图，可以确定任务的执行顺序和调度策略，以便在满足依赖关系的前提下合理地安排任务的执行。

DAG 在许多领域都有广泛的应用，例如：

  1. 编译器优化：DAG 用于表示源代码的抽象语法树，通过对语法树进行优化和转换，生成优化的目标代码。

  2. 数据流分析：通过构建数据流依赖的 DAG，可以分析程序中的数据流转和依赖关系，以优化数据流的传输和计算过程。

  3. 任务调度：DAG 用于表示任务之间的依赖关系，以解决任务调度和并行执行的问题，并最大限度地提高任务执行的效率。

总而言之，DAG 是一种非常有用的图结构，在计算机科学和相关领域中被广泛应用于任务调度、依赖关系表示、编译优化等问题的建模和解决。

🍁 🍁 02、为什么会产生RDD？

产生RDD（弹性分布式数据集）是为了解决大规模数据处理的效率和可靠性问题。在分布式计算环境下，数据通常被分割成多个分区，并在集群中的不同节点上进行处理。RDD 的设计目标是提供一种高效、可靠、可并行处理的数据抽象，以便对分布式数据进行操作和转换。

以下是一些原因，解释了为什么会产生RDD：

  1. 内存计算：RDD 允许将数据保留在内存中进行计算和处理，从而避免频繁的磁盘读写操作，提高计算性能。

  2. 容错机制：RDD 具有容错机制，如果某个分区的数据丢失或发生错误，RDD 可以基于分区之间的依赖关系进行恢复和重计算，确保整个作业的正确完成。

  3. 数据分区：RDD 允许对数据进行分区，并在不同节点上进行并行计算。这种数据划分和并行计算的方式可以提高系统的扩展性和性能，充分利用集群中的计算资源。

  4. 不可变性和可变性：RDD 支持不可变性和可变性。不可变性保证了数据的安全性和一致性，可变性允许在 RDD 上进行迭代式的数据更新和操作。

  5. 惰性计算：RDD 的计算是惰性的，只有在需要获取数据结果时，RDD 才会进行实际的计算。这种惰性计算策略可以优化作业的执行计划，并提高整体的计算效率。

综上所述，RDD 的产生是为了在分布式环境下提供一种高效、可靠的数据操作和处理机制，它通过内存计算、容错机制、数据分区等特性，提高了大规模数据处理的性能和可靠性。

🍁 🍁 03、如果在SSH中添加key，是否还需要设置密码？

如果您在使用 SSH 公钥/私钥进行认证登录时，那么在添加公钥到目标机器上后就不需要再设置密码登录了。这是因为 SSH 公钥/私钥认证是基于密钥对实现的，公钥和私钥是配对的，因此在使用公钥登录时，私钥必须存在，并与公钥进行匹配，以确保安全性。

在使用公钥/私钥认证登录时，一般会将公钥添加到目标机器上的 authorized_keys 文件中。该文件存放在目标机器用户的 .ssh 目录下，通过添加公钥到该文件中，就可以在登录时自动识别该公钥并匹配私钥，从而实现 SSH 无密码登录。

需要注意的是，在添加公钥之前，您需要在目标机器上设置好 SSH 服务，打开 SSH 服务端口并开启公钥/私钥认证功能。另外，为了确保安全性，公钥和私钥应该保密并妥善保存，不应该轻易泄露或共享给他人。

🍁 🍁 04、Hadoop是否遵循UNIX模式？

Hadoop 是一个分布式计算框架，主要用于处理海量数据并实现高可用和高可靠性的数据存储和计算。Hadoop 在一定程度上遵循 UNIX 操作系统的一些设计模式和哲学，但并不是完全遵循。

下面是一些 Hadoop 的特点和 UNIX 模式的对比：

  1. 分布式设计：Hadoop 采用分布式设计，将大数据集分散到多个服务器上进行处理。这种设计思想和 UNIX 系统中的“做好一件事情，并做好它”的哲学有点类似。

  2. 文件系统：Hadoop 分布式文件系统 HDFS，采用类似 UNIX 文件系统的命名空间和目录树形结构，但其底层实现方式与传统的 UNIX 文件系统存在较大差异。UNIX 文件系统是基于块设备的，而 HDFS 是基于数据块的，可以跨越多个物理服务器。

  3. Shell 命令：Hadoop 提供了类似 UNIX 下的 Shell 命令，例如 ls、rm、mkdir 等，但这些命令通常只用于管理 Hadoop 集群，而不是用于操作本地文件系统。

  4. 安全性：Hadoop 支持基本的安全性机制，例如用户权限管理和数据加密，但相对于 UNIX 系统的强大的安全性机制而言，还显得比较薄弱。

综上所述，Hadoop 在一定程度上遵循 UNIX 的一些设计模式和哲学，但并不是完全遵循。Hadoop 的分布式设计、类似 UNIX 文件系统的命名空间和目录树形结构、提供类似 UNIX Shell 命令等，都是从 UNIX 中借鉴和吸取了一些思想和经验。

🍁 🍁 05、Hadoop的shuffle过程是什么？

在 Hadoop 中，shuffle 指的是将 Mapper 阶段产生的数据按照相同的 key 进行汇总、排序、并发送给 Reducer 节点的过程。Shuffle 过程是整个 MapReduce 任务中非常关键的一个阶段，直接影响 MapReduce 任务的性能和效率。

Hadoop 的 shuffle 过程主要包含以下几个步骤：

  1. Partition（分区）：将 Mapper 阶段 output 的键值对根据 key 的 hash 值分配到不同的 Partition 上。一个 Partition 针对一个 Reducer，保证相同的 key 被发送到同一个 Reducer 节点处理，以保证数据的一致性和准确性。

  2. Sort（排序）：将 Partition 中的数据进行排序，保证 Reducer 节点可以按照 key 的顺序进行处理。

  3. Combiner（合并）：可选的优化步骤，将相同 key 的值进行合并，以减少数据传输量，提高 MapReduce 的性能和效率。

  4. Transfer（数据传输）：将 Map 阶段产生的数据按照 Partition 分区结果发送到对应的 Reducer 节点；并通过网络传输到本地磁盘，以确保数据的可靠性和一致性。如果某个节点挂掉，数据将会自动重新发送到其它节点进行处理。

  5. Merge（合并）：Reducer 节点接收到数据后，需要将所有 Partition 数据合并成一个大的有序数据集，并进行数据处理和计算。

综上可知，Hadoop 的 shuffle 过程涉及到数据分区、数据传输、数据排序等多个步骤，这些步骤需要精心设计和优化，以提高 MapReduce 的性能和效率。

🍁 🍁 06、HDFS中的块是什么，在Hadoop 1和Hadoop 2中其默认大小是多少？我们可以更改块大小吗？

在 HDFS 中，块（Block）是数据的最小存储单位，是将文件切分成多个部分，以便在多个数据节点（DataNode）上进行并行处理和存储。每个块由多个副本（Replica）组成，这些副本存储在不同的数据节点上，以保证数据可靠性和容错性。

在 Hadoop 1 中，HDFS 块的默认大小是 64MB。而在 Hadoop 2 中，为了适应不同的数据处理场景，HDFS 块的默认大小增加到了 128MB。用户可以根据自己的需要，在创建文件时指定块的大小，以适应不同的数据存储和计算需求。

同时，用户也可以通过修改 HDFS 的配置文件，更改块的大小以适应自己的需求。在 Hadoop 中，可以通过修改 dfs.block.size 参数来更改块大小。该参数的默认值与 Hadoop 版本有关，可以在 hdfs-site.xml 配置文件中进行修改，并重启 HDFS 服务生效。

需要注意的是，如果将块的大小设置得太小，将会增加元数据的存储和管理开销，并可能导致存储容量的浪费；而如果将块的大小设置得太大，则可能导致数据处理时的数据倾斜和不均衡，影响数据的处理和计算效率。因此，需要根据实际需求来确定合适的块大小，以达到最佳的数据存储和计算效果。

🍁 🍁 07、Hbase的rowKey怎么创建比较好？列簇怎么创建比较好？

在 HBase 中，RowKey 和列簇设计是非常重要的，它们的选择会直接影响到数据的存储和检索效率。下面是一些建议来创建好的 RowKey 和列簇：

  1. RowKey 设计：
  • 唯一性：RowKey 应该具有唯一性，以确保正确的数据存储和检索。
  • 均匀分布：避免热点数据和数据倾斜，尽量使 RowKey 均匀分布在不同的 RegionServer 上。可以使用哈希函数或者在 RowKey 中添加时间戳等方法来达到均匀分布的效果。
  • 直观性和可读性：根据业务需求，选择容易理解和识别的 RowKey，以方便开发和调试。
  1. 列簇设计：
  • 尽量避免过多的列簇：列簇的创建是在表创建时定义的，决定了表中数据的列的结构。过多的列簇会增加管理和查询的复杂性，因此尽量合理控制列簇的数量。
  • 合理的列簇命名：为列簇选择有意义的名称，能够清晰地反映数据的含义。例如，如果存储的是用户信息，可以创建名为 “info” 的列簇，再在该列簇下创建 “name”、“age”、“gender” 等列。
  • 考虑访问模式：根据数据的访问模式和查询需求，选择合适的列簇设计。如果数据是频繁读取的，可以将其放在一个列簇下以提高读取效率。如果数据会被频繁修改，可以将其放在单独的列簇下，以减少数据移动和写入的成本。

以上只是一些常见的设计建议，实际的设计需要根据具体的业务需求、数据特点和访问模式进行权衡。在进行 RowKey 和列簇设计时，建议进行合理的规划和测试，以获得最佳的数据存储和检索效率。

🍁 🍁 08、hadoop-metrics.properties文件的作用是？

hadoop-metrics.properties 文件是 Hadoop Metrics 框架的配置文件，用于配置 Hadoop 的度量和监控系统。

Hadoop Metrics 是 Hadoop 提供的一个度量和监控框架，用于收集和展示集群的各种指标和性能数据。通过配置 hadoop-metrics.properties 文件，可以定义要收集的不同指标和性能数据，以及指定数据的接收者和处理方式。

该配置文件包含了以下几个常用的配置项：

  1. *.sink.*：指定度量数据输出的目的地。可以将度量数据输出到文件、控制台、Ganglia、Graphite 等不同的数据接收器。
  2. *.period：指定度量数据收集的时间间隔。可以设定不同的时间间隔来收集数据，根据实际需求进行调整。
  3. *.location：指定数据输出的位置。例如，可以将数据输出到某个文件路径或者指定的主机和端口。

通过修改 hadoop-metrics.properties 文件，可以灵活地配置和定制 Hadoop 集群的度量和监控系统，以满足不同的需求。可以根据具体的业务需要，选择需要监控的指标，以便更好地了解集群的状态、性能和资源利用情况，并进行优化和调整。

🍁 🍁 09、描述Hbase，ZooKeeper搭建过程？

搭建 HBase 和 ZooKeeper 的过程如下：

  1. 安装和配置 ZooKeeper：

    • 下载 ZooKeeper 包，并解压到指定目录。
    • 进入 ZooKeeper 配置目录，复制 zoo_sample.cfg 文件为 zoo.cfg。
    • 打开 zoo.cfg 文件，配置 ZooKeeper 的相关参数，如数据目录、端口号等。
    • 启动 ZooKeeper 服务：运行 zkServer.sh 脚本（Linux）或 zkServer.cmd 命令（Windows）。

  2. 安装和配置 HBase：

    • 下载 HBase 包，并解压到指定目录。
    • 进入 HBase 配置目录，编辑 hbase-site.xml 文件，配置 HBase 的相关参数，如 ZooKeeper 地址、数据存储目录等。
    • （可选）编辑 hbase-env.sh 文件，根据需要设置 Java 环境变量。
    • 启动 HBase 服务：运行 start-hbase.sh（Linux）或 start-hbase.cmd（Windows）脚本。

  3. 验证 HBase 和 ZooKeeper：

    • 打开 HBase Shell：运行 hbase shell 命令。
    • 在 HBase Shell 中，可以执行一些命令来验证 HBase 和 ZooKeeper 的正常工作。例如，使用 create 命令创建表，使用 put 命令插入数据等。

需要注意的是，搭建 HBase 和 ZooKeeper 需要依赖 Java 环境，确保已经正确安装和配置 Java。

以上是搭建 HBase 和 ZooKeeper 的基本过程。对于具体的环境和需求，可能会有一些特殊的配置和操作步骤，可以参考官方文档或相关的教程进行更详细的配置和调整。

🍁 🍁 10、sqoop在导入数据到MySQL中，如何不重复导入数据，如果存在数据问题，sqoop如何处理？

在使用Sqoop导入数据到MySQL时，可以通过以下方式来避免重复导入数据：

  1. 使用 --append 参数：Sqoop 默认会将数据追加到已有的表中，而不会覆盖已存在的数据。通过在 Sqoop 命令中添加 --append 参数，可以确保新导入的数据不会覆盖已存在的数据，而是追加到表的末尾。

  2. 使用 --merge-key 参数：如果目标表中已经存在某个可以用作合并的字段（如主键或唯一键），可以使用 --merge-key 参数指定该字段。Sqoop 在导入数据时会根据该字段的值检查是否已存在相同的数据，并仅导入新的数据。

至于存在数据问题时，Sqoop 提供了一些选项来处理不同的情况：

  1. --update-key 参数：如果在导入过程中发现有匹配的键值（如主键或唯一键）已存在于目标表中，可以使用 --update-key 参数指定用于更新的键。在这种情况下，Sqoop 将根据新的数据更新已存在的数据而不是插入新的行。

  2. --update-mode 参数：在使用 --update-key 更新数据时，可以使用 --update-mode 参数来指定更新模式。可以选择 allowinsert（默认值）表示允许插入新行，updateonly 表示只更新已存在的行，或者 updateorinsert 表示更新已存在的行或插入新行。

通过合理使用上述参数，可以在数据导入过程中避免重复数据，并处理已存在数据的更新和插入场景，以保持数据的一致性和完整性。在实际应用中，建议根据具体的业务需求和数据情况选择合适的参数和模式。

🍁 🍁 11、Hadoop-env.sh文件当下的位置？

根据常规安装，默认情况下，Hadoop-env.sh 文件的位置是在 Hadoop 的配置文件目录下。

在 Hadoop 2.x 或更高版本中，Hadoop-env.sh 文件的位置通常是在 $HADOOP_HOME/etc/hadoop/ 目录下。其中，$HADOOP_HOME 是 Hadoop 的安装目录，为其根目录。

如果具体安装的版本或配置有所不同，可以通过以下步骤来确定 Hadoop-env.sh 文件的实际位置：

  1. 找到 Hadoop 的安装目录：通常为 $HADOOP_HOME。
  2. 进入 Hadoop 配置文件目录：$HADOOP_HOME/etc/hadoop/ 或者 $HADOOP_CONF_DIR。
  3. 在该目录下查找 Hadoop-env.sh 文件。

注意，在某些情况下，Hadoop-env.sh 文件可能不存在，或者可能根据不同的发行版和配置进行了不同的命名或位置调整。如果无法在上述目录中找到 Hadoop-env.sh 文件，可以尝试使用命令行工具 find 或 locate 在整个系统中搜索该文件。

总之，Hadoop-env.sh 文件通常位于 Hadoop 的配置文件目录中，通过 $HADOOP_HOME/etc/hadoop/ 或 $HADOOP_CONF_DIR 找到该目录，并在其中寻找该文件。

🍁 🍁 12、Masters由什么组成？

在分布式计算中，“Masters” 通常指的是 Master 节点或 Master 角色的集合。Master 节点是集群中的关键节点，负责协调和管理整个分布式系统的操作和资源分配。

具体根据不同的分布式系统，“Masters” 的组成可能会有所不同。以下是一些常见的分布式系统中 Masters 的组成：

  1. Apache Hadoop:

    • NameNode (主节点): 管理分布式文件系统 HDFS 的命名空间，负责存储文件的元数据信息。
    • ResourceManager (资源管理器): 负责集群的资源调度和管理，协调执行 MapReduce 任务。

  2. Apache Spark:

    • Spark Master: 负责整个 Spark 集群的管理，协调执行和调度 Spark 应用程序。

  3. Apache Mesos:

    • Mesos Master: 负责整个 Mesos 集群的管理，协调分配和调度集群资源，管理 Mesos Slave。

  4. Apache ZooKeeper:

    • ZooKeeper 集群: ZooKeeper 采用分布式的协调服务，集群中的多个 ZooKeeper 节点共同组成 Masters，共同管理和维护分布式应用的各种元数据。

需要注意的是，“Masters” 的组成会根据系统的架构和设计进行调整，不同的分布式系统可能会有不同的角色和组件来组成 Master。因此，在具体的分布式系统中，要根据其官方文档或相关资料来确定 “Masters” 的具体组成。

🍁 🍁 13、Hadoop的核心配置是什么？

Hadoop 的核心配置主要包括以下几个文件：

1. core-site.xml：这个文件包含了 Hadoop 的核心配置项，用于配置 Hadoop 分布式文件系统 (HDFS) 和 Hadoop 通用的参数，如文件系统的默认方案、Hadoop 日志目录、文件系统访问权限等。

2. hdfs-site.xml：该文件用于配置 HDFS 相关的参数，如数据块的大小、副本数量、数据目录、文件系统权限等。

3. yarn-site.xml：用于配置 Hadoop 上的资源管理系统 YARN (Yet Another Resource Negotiator) 相关的参数，如资源管理器的地址、应用程序调度器类型、容器的内存和 CPU 限额等。

4. mapred-site.xml：在早期版本的 Hadoop 中使用的，在 YARN 之前是用于配置 MapReduce 相关参数的文件。现在 mapred-site.xml 的配置内容大多已经被移到 yarn-site.xml 中，但在某些特定情况下仍然可以使用。

除了这些核心配置文件之外，还可能会有其他的配置文件用于特定的组件或扩展，如 hbase-site.xml 用于配置 HBase、hive-site.xml 用于配置 Hive、spark-defaults.conf 用于配置 Spark 等。

这些核心配置文件通常位于 Hadoop 配置文件目录下的 conf 目录中，具体位置可能因不同的 Hadoop 发行版和安装方式而有所不同。

请注意，配置文件的名称和位置可能因不同的 Hadoop 版本和发行版而有所差异。在实际操作中，应根据所使用的 Hadoop 版本和配置情况参考官方文档或相关资料来确定具体的核心配置。

🍁 🍁 14、我们使用Ubuntu及Cloudera，那么我们该去哪里下载Hadoop，或者是默认就与Ubuntu一起安装？

如果您使用的是 Cloudera 的 Hadoop 发行版，那么您可以直接从 Cloudera 官方网站下载并安装 Cloudera Manager。Cloudera Manager 包含了 Hadoop 的各种组件和工具，并提供了一套易于使用的 Web 界面来管理和监控整个集群。您可以通过 Cloudera Manager 界面来轻松安装、配置和部署 Hadoop 集群。

如果您选择使用自己构建的 Hadoop 分发版，那么您可以通过 Apache Hadoop 官方网站下载 Hadoop 的二进制发行版并进行安装，或者通过源码编译自己的发行版。当然，也可以通过 Ubuntu 的 package manager 安装 Hadoop。

在 Ubuntu 中安装 Hadoop 可以使用命令行工具 APT (Advanced Packaging Tool)，例如：

sudo apt-get update
sudo apt-get install hadoop

或者，您也可以手动下载和安装官方的 Hadoop 二进制发行版。在此过程中，您需要下载 Hadoop 的安装包，将其解压并配置 Hadoop 环境变量。具体操作步骤和流程可以参考 Hadoop 官方文档。

总之，根据您的需求和情况，您可以选择使用 Cloudera Manager 或者手动安装和配置 Hadoop。在 Ubuntu 中，您可以使用 APT 或手动下载和安装官方的 Hadoop 发行版。

🍁 🍁 15、腾讯面试题：给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？

对于这个问题，可以使用布隆过滤器（Bloom Filter）来快速判断一个数是否在这40亿个数中。布隆过滤器是一种概率型数据结构，它可以高效地检测一个元素是否属于一个集合，而且不需要存储具体的元素，只需要使用较小的空间。

下面是使用布隆过滤器进行判断的基本思路：

  1. 初始化一个布隆过滤器，使用足够大小的位数组（bit array），可以通过计算得到所需的位数组大小。初始化时，所有的位都置为0。

  2. 对于这40亿个数，逐个将其经过哈希函数的计算结果作为索引，将对应的位数组置为1。

  3. 当需要判断一个数是否在这40亿个数中时，同样使用相同的哈希函数对这个数进行计算，并查看对应的位数组上的值。如果所有的比特位都为1，则说明这个数存在于集合中；如果有任何一个位为0，则可以确定这个数不在集合中。

需要注意的是，布隆过滤器是一个概率型数据结构，存在一定的误判率。可能会有一些情况下，判断出数在集合中，但实际上并不在；或者判断出数不在集合中，但实际上存在。因此，在实际应用中，需要根据具体的需求和决策来权衡误判率和空间复杂度。

总结起来，布隆过滤器是一种适用于快速判断一个数是否存在于大规模集合中的方法，能够在很短的时间内给出结果。但是需要牺牲一定的精确度，可能会有一定的误判率。

Java 实现布隆过滤器示例代码：

import java.util.BitSet;
import java.util.Random;

public class BloomFilter {
    private BitSet bitSet;
    private int size;
    private int[] seeds; // 哈希函数种子数组

    public BloomFilter(int size, int hashFunctions) {
        this.size = size;
        this.bitSet = new BitSet(size);
        this.seeds = new int[hashFunctions];
        Random random = new Random();
        for (int i = 0; i < hashFunctions; i++) {
            seeds[i] = random.nextInt(Integer.MAX_VALUE);
        }
    }

    public void add(int num) {
        for (int seed : seeds) {
            int index = hash(num, seed) % size;
            bitSet.set(index);
        }
    }

    public boolean contains(int num) {
        for (int seed : seeds) {
            int index = hash(num, seed) % size;
            if (!bitSet.get(index)) {
                return false;
            }
        }
        return true;
    }

    private int hash(int num, int seed) {
        return (num ^ seed) * 0x9e3779b9;
    }

    public static void main(String[] args) {
        BloomFilter filter = new BloomFilter(1000000, 5);
        filter.add(123);
        filter.add(456);
        System.out.println(filter.contains(789));
        System.out.println(filter.contains(123));
    }
}

Python 实现布隆过滤器示例代码：

import bitarray
import mmh3

class BloomFilter:
    def __init__(self, size, hash_functions):
        self.size = size
        self.bit_array = bitarray.bitarray(size)
        self.bit_array.setall(False)
        self.hash_functions = hash_functions

    def add(self, num):
        for seed in self.hash_functions:
            index = mmh3.hash(num, seed) % self.size
            self.bit_array[index] = True

    def contains(self, num):
        for seed in self.hash_functions:
            index = mmh3.hash(num, seed) % self.size
            if not self.bit_array[index]:
                return False
        return True

if __name__ == '__main__':
    bloom_filter = BloomFilter(1000000, [1, 2, 3, 4, 5])
    bloom_filter.add(123)
    bloom_filter.add(456)
    print(bloom_filter.contains(789))
    print(bloom_filter.contains(123))

以上是简单的布隆过滤器的实现示例，其中使用了随机数种子和 MurmurHash3 哈希函数。实际使用中可以根据实际需求进行调整和优化。

在这里插入图片描述

文章来源:https://blog.csdn.net/m0_50308467/article/details/135449027
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章