spark|性能优化

spark如何进行性能优化?首先需要了解基本的spark运行原理,建议看之前的介绍文章。其实是知道如何查看指标,只有通过指标才能正确反馈问题出在哪里?

……

阅读全文

spark|任务调度

掌握任务调度的原理对于提升开发人员在 Spark 应用程序上的故障排查和性能调优的能力大有裨益。

……

阅读全文

spark|基础知识

大数据、人工智能( Artificial Intelligence )正以前所未有的广度和深度影响所有的行业, 现在及未来公司的核心壁垒是数据, 核心竞争力来自基于大数据的人工智能的竞争。

……

阅读全文

spark|知识大纲

总结一下spark的知识大纲,利用思维导图的方式将零散的知识组合起来,形成网状图谱,方便回想和记忆。

……

阅读全文

mysql|知识大纲

总结一下mysql的知识大纲,利用思维导图的方式将零散的知识组合起来,形成网状图谱,方便回想和记忆。

……

阅读全文

大模型专题|LangChain rag实践

Retrieval-Augmented Generation (RAG) 是一种赋予生成式人工智能模型信息检索能力的技术。它修改了与大型语言模型(LLM)的交互方式,使模型能够根据指定的文档集对用户查询进行响应,利用这些信息来增强从其自身庞大的静态训练数据中提取的信息。这允许LLMs使用特定领域和/或更新的信息。用例包括提供聊天机器人访问公司内部数据或仅从权威来源提供事实信息。简单理解就是通过专业知识库结合LLM的总结生成特性给到高质量的回答。

……

阅读全文

算法专题|并查集

并查集(Union-find Data Structure)是一种树型的数据结构。它的特点是由子结点找到父亲结点,用于处理一些不交集(Disjoint Sets)的合并及查询问题。

……

阅读全文

Golang|groupcache

groupcache 是 memcached 作者 Brad Fitzpatrick 用 Go 语言编写的缓存及缓存过滤库,作为 memcached 许多场景下的替代版本。

……

阅读全文