• 企业400电话
  • 微网小程序
  • AI电话机器人
  • 电商代运营
  • 全 部 栏 目

    企业400电话 网络优化推广 AI电话机器人 呼叫中心 网站建设 商标✡知产 微网小程序 电商运营 彩铃•短信 增值拓展业务
    Python查询oracle数据库速度慢的解决方案

    如下所示:

    conn = cx_Oracle.connect('username/password@ip:port/servername')
    cur = conn.cursor()
    cur.execute('SELECT * FROM "db"."table"')

    cur是一个迭代器,不要用fetchall一次性取完数据

    直接 for row in cur 即可取数据

    使用:sqlalchemy

    MySQL-Python
        mysql+mysqldb://user>:password>@host>[:port>]/dbname>
     
    pymysql
        mysql+pymysql://username>:password>@host>/dbname>[?options>]
     
    MySQL-Connector
        mysql+mysqlconnector://user>:password>@host>[:port>]/dbname>
     
    cx_Oracle
        oracle+cx_oracle://user:pass@host:port/dbname[?key=valuekey=value...]
    
    create_engine('oracle+cx_oracle://{a}:{b}@{c}:{d}/?service_name={e}'.format(a,b,c,d,e))
    create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s/%(database)s?charset=utf8' % laoshifu_info)
     
    df = pd.read_sql_table(table_name="table_name", con=engine)  
    (the function to_sql is case-sensitive,Found the root cause from DBMS (mysql) autoconvert the table name to lowercase.)
    df = pd.read_sql_query(sql=sql,con=engine)  # 很慢
    ordf = pd.read_sql("SELECT * FROM db.table ",engine,chunksize=50000)
    dflist = []
    for chunk in ordf:
        dflist.append(chunk)
    df = pd.concat(dflist)

    补充:Python3 Cx_oracle 的一些使用技巧

    Cx_oracle的一些使用技巧

    工作中的数据库采用oracle。访问oracle数据库一般都采用cx_oracle包来完成,API很清晰,操作效率也比较高,而且oracle官方好像对cx_oracle也非常支持,提供了丰富的文档。这里讨论一些使用技巧,作为记录,可能对你也有用。

    我最近用python写了一个小工具,这个工具根据客户端的请求查询数据库,并将结果集以json的方式返回。请求的格式如下:

        {
            fields : [
                {name : "project_id", type : "string"},
                {name : "project_name", type : "string"}
            ],
            
            sql : "select t.project_id, t.project_name from dp_project t"
        }

    即,客户端描述自己想要的元数据信息(字段名称,字段类型),以及SQL语句,服务器端根据此信息查询数据库,并将返回组织成客户端在fields中描述的那样。

    cx_oracle默认从cursor中fetch出来的数据是一个元组,按照SQL中的顺序组织,但是我希望返回的是一个字典结构,这个可以通过设置cursor的rowfactory属性来实现,定义一个rowfactory的回调函数:

        def makedict(self, cursor):
            cols = [d[0] for d in cursor.description]     
            def createrow(*args):
                return dict(zip(cols, args))     
            return createrow

    这个函数返回一个函数:createrow。可能有点绕口,仔细想想就清晰了。cursor中带有足够的信息来生成这个字典,如cursor的description的值为:

       [
       ('PROJECT_ID', ;type 'cx_Oracle.STRING'>, 40, 40, 0, 0, 0), 
       ('PROJECT_NAME', ;type 'cx_Oracle.STRING'>, 50, 50, 0, 0, 1)
       ]

    我们需要的是cursor.description的第一列,zip函数将cols和默认的那个元组合成为一个新的元组,再用dict转换为一个新的字典对象返回。

    然后将这个返回函数的函数注册给cursor的rowfactory即可:

     cursor.rowfactory = self.makedict(cursor)
    

    这样,我们使用cursor.fetchall/fetchone的时候,取出来的就成为一个字典对象,很方便将其序列化为json格式返回。

    另一个技巧是关于将查询到的结果中,字符串类型的字段转换为unicode,数值类型的不做处理:

        def outtypehandler(self, cursor, name, dtype, size, p, s):
            if dtype in (oracle.STRING, oracle.FIXED_CHAR):
                return cursor.var(unicode, size, cursor.arraysize)

    将connection对象的outputtypehandler注册为此函数即可:

       connection = oracle.connect(self.constr)
       connection.outputtypehandler = self.outtypehandler

    通用查询的这个小工具还在开发中,等完成了再整理一下。

    以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。

    您可能感兴趣的文章:
    • zabbix agent2 监控oracle数据库的方法
    • ORACLE数据库对long类型字段进行模糊匹配的解决思路
    • 配置python连接oracle读取excel数据写入数据库的操作流程
    • SpringBoot多数据库连接(mysql+oracle)的实现
    • 使用zabbix监控oracle数据库的方法详解
    • Oracle数据库下载与安装的完整步骤
    • QT连接Oracle数据库并实现登录验证的操作步骤
    • oracle取数据库中最新的一条数据可能会遇到的bug(两种情况)
    • 使用IDEA对Oracle数据库进行简单增删改查操作
    • Oracle数据库scott用户创建view视图权限的操作方法
    • ORACLE数据库应用开发的三十个注意事项
    上一篇:Python实现求解斐波那契第n项的解法(包括矩阵乘法+快速幂)
    下一篇:python 在服务器上调用数据库特别慢的解决过程
  • 相关文章
  • 

    © 2016-2020 巨人网络通讯 版权所有

    《增值电信业务经营许可证》 苏ICP备15040257号-8

    Python查询oracle数据库速度慢的解决方案 Python,查询,oracle,数据库,