CoCalc -- hugging-face.py

GitHub Repository: pola-rs/polars
Path: blob/main/docs/source/src/python/user-guide/io/hugging-face.py
⁷⁸⁹⁰ views
1
# --8<-- [start:setup]
2
import polars as pl
3

4
# --8<-- [end:setup]
5

6
# --8<-- [start:scan_iris_csv]
7
print(pl.scan_csv("hf://datasets/nameexhaustion/polars-docs/iris.csv").collect())
8
# --8<-- [end:scan_iris_csv]
9

10
# --8<-- [start:scan_iris_ndjson]
11
print(pl.scan_ndjson("hf://datasets/nameexhaustion/polars-docs/iris.jsonl").collect())
12
# --8<-- [end:scan_iris_ndjson]
13

14
# --8<-- [start:scan_iris_repr]
15
print(
16
    """\
17
shape: (150, 5)
18
┌──────────────┬─────────────┬──────────────┬─────────────┬───────────┐
19
│ sepal_length ┆ sepal_width ┆ petal_length ┆ petal_width ┆ species   │
20
│ ---          ┆ ---         ┆ ---          ┆ ---         ┆ ---       │
21
│ f64          ┆ f64         ┆ f64          ┆ f64         ┆ str       │
22
╞══════════════╪═════════════╪══════════════╪═════════════╪═══════════╡
23
│ 5.1          ┆ 3.5         ┆ 1.4          ┆ 0.2         ┆ setosa    │
24
│ 4.9          ┆ 3.0         ┆ 1.4          ┆ 0.2         ┆ setosa    │
25
│ 4.7          ┆ 3.2         ┆ 1.3          ┆ 0.2         ┆ setosa    │
26
│ 4.6          ┆ 3.1         ┆ 1.5          ┆ 0.2         ┆ setosa    │
27
│ 5.0          ┆ 3.6         ┆ 1.4          ┆ 0.2         ┆ setosa    │
28
│ …            ┆ …           ┆ …            ┆ …           ┆ …         │
29
│ 6.7          ┆ 3.0         ┆ 5.2          ┆ 2.3         ┆ virginica │
30
│ 6.3          ┆ 2.5         ┆ 5.0          ┆ 1.9         ┆ virginica │
31
│ 6.5          ┆ 3.0         ┆ 5.2          ┆ 2.0         ┆ virginica │
32
│ 6.2          ┆ 3.4         ┆ 5.4          ┆ 2.3         ┆ virginica │
33
│ 5.9          ┆ 3.0         ┆ 5.1          ┆ 1.8         ┆ virginica │
34
└──────────────┴─────────────┴──────────────┴─────────────┴───────────┘
35
"""
36
)
37
# --8<-- [end:scan_iris_repr]
38

39
# --8<-- [start:scan_parquet_hive]
40
print(pl.scan_parquet("hf://datasets/nameexhaustion/polars-docs/hive_dates/").collect())
41
# --8<-- [end:scan_parquet_hive]
42

43
# --8<-- [start:scan_parquet_hive_repr]
44
print(
45
    """\
46
shape: (4, 3)
47
┌────────────┬────────────────────────────┬─────┐
48
│ date1      ┆ date2                      ┆ x   │
49
│ ---        ┆ ---                        ┆ --- │
50
│ date       ┆ datetime[μs]               ┆ i32 │
51
╞════════════╪════════════════════════════╪═════╡
52
│ 2024-01-01 ┆ 2023-01-01 00:00:00        ┆ 1   │
53
│ 2024-02-01 ┆ 2023-02-01 00:00:00        ┆ 2   │
54
│ 2024-03-01 ┆ null                       ┆ 3   │
55
│ null       ┆ 2023-03-01 01:01:01.000001 ┆ 4   │
56
└────────────┴────────────────────────────┴─────┘
57
"""
58
)
59
# --8<-- [end:scan_parquet_hive_repr]
60

61
# --8<-- [start:scan_ipc]
62
print(pl.scan_ipc("hf://spaces/nameexhaustion/polars-docs/orders.feather").collect())
63
# --8<-- [end:scan_ipc]
64

65
# --8<-- [start:scan_ipc_repr]
66
print(
67
    """\
68
shape: (10, 9)
69
┌────────────┬───────────┬───────────────┬──────────────┬───┬─────────────────┬─────────────────┬────────────────┬─────────────────────────┐
70
│ o_orderkey ┆ o_custkey ┆ o_orderstatus ┆ o_totalprice ┆ … ┆ o_orderpriority ┆ o_clerk         ┆ o_shippriority ┆ o_comment               │
71
│ ---        ┆ ---       ┆ ---           ┆ ---          ┆   ┆ ---             ┆ ---             ┆ ---            ┆ ---                     │
72
│ i64        ┆ i64       ┆ str           ┆ f64          ┆   ┆ str             ┆ str             ┆ i64            ┆ str                     │
73
╞════════════╪═══════════╪═══════════════╪══════════════╪═══╪═════════════════╪═════════════════╪════════════════╪═════════════════════════╡
74
│ 1          ┆ 36901     ┆ O             ┆ 173665.47    ┆ … ┆ 5-LOW           ┆ Clerk#000000951 ┆ 0              ┆ nstructions sleep       │
75
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ furiously am…           │
76
│ 2          ┆ 78002     ┆ O             ┆ 46929.18     ┆ … ┆ 1-URGENT        ┆ Clerk#000000880 ┆ 0              ┆ foxes. pending accounts │
77
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ at th…                  │
78
│ 3          ┆ 123314    ┆ F             ┆ 193846.25    ┆ … ┆ 5-LOW           ┆ Clerk#000000955 ┆ 0              ┆ sly final accounts      │
79
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ boost. care…            │
80
│ 4          ┆ 136777    ┆ O             ┆ 32151.78     ┆ … ┆ 5-LOW           ┆ Clerk#000000124 ┆ 0              ┆ sits. slyly regular     │
81
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ warthogs c…             │
82
│ 5          ┆ 44485     ┆ F             ┆ 144659.2     ┆ … ┆ 5-LOW           ┆ Clerk#000000925 ┆ 0              ┆ quickly. bold deposits  │
83
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ sleep s…                │
84
│ 6          ┆ 55624     ┆ F             ┆ 58749.59     ┆ … ┆ 4-NOT SPECIFIED ┆ Clerk#000000058 ┆ 0              ┆ ggle. special, final    │
85
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ requests …              │
86
│ 7          ┆ 39136     ┆ O             ┆ 252004.18    ┆ … ┆ 2-HIGH          ┆ Clerk#000000470 ┆ 0              ┆ ly special requests     │
87
│ 32         ┆ 130057    ┆ O             ┆ 208660.75    ┆ … ┆ 2-HIGH          ┆ Clerk#000000616 ┆ 0              ┆ ise blithely bold,      │
88
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ regular req…            │
89
│ 33         ┆ 66958     ┆ F             ┆ 163243.98    ┆ … ┆ 3-MEDIUM        ┆ Clerk#000000409 ┆ 0              ┆ uriously. furiously     │
90
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ final requ…             │
91
│ 34         ┆ 61001     ┆ O             ┆ 58949.67     ┆ … ┆ 3-MEDIUM        ┆ Clerk#000000223 ┆ 0              ┆ ly final packages.      │
92
│            ┆           ┆               ┆              ┆   ┆                 ┆                 ┆                ┆ fluffily fi…            │
93
└────────────┴───────────┴───────────────┴──────────────┴───┴─────────────────┴─────────────────┴────────────────┴─────────────────────────┘
94
"""
95
)
96
# --8<-- [end:scan_ipc_repr]
97

98
Product

Resources

Company
